小文件归档，存储量不断扩大，有没有什么好的解决方法？

田头地角

此种应用,关键是大量小文件在备份或归档时的读取效率,彻底解决可能比较困难,提高性能是一种方法.
没有归档的数据要备份,归档的数据还要保留双份,不然无法恢复访问的阴影永远留着.
这种情况比较实际的方法是做分级归档,主存储+在线二级高密度SATA磁盘存储+磁带库
设备容量配置可根据访问的命中率要求进行,所有数据都保留双份,生成系统数据往二级磁盘存储上迁移时,使用细水长流的方法,控制生产系统的存储容量,减少生产系统备份的时间.
lwmexa 发表于 2011-02-25 08:20

赞同

大人大量

分级存储我觉得还是必要的，首先长期来看从性能和成本考虑是必须的，另外备份时间=数据量/速度，想缩短备份时间首先是要想办法提高速度，对于海量小文件瓶颈在文件scan时间（通过一些备份软件的预扫描技术）,move性能上面（块级备份、多数据流、快照技术等），但如果速度再快数据量太大还是不行，所以要通过归档的方式减少需要备份的数据量，当然备份完成后可以删除历史数据来实现减少数据量。但因为分级存储可以保留存根对应用访问透明，根据楼主的需求最好进行分级存储。楼主的归档性能问题，同样可以通过各厂家减少文件扫描时间技术,至于数据归档时传输速度慢这个好像不好解决，目前没听过哪个归档软件可以按块级的方式进行数据传输。

易建忠

貌似看过一篇文章，好像有归档可以实现如果之前的文件被备份过，归档时不需要再次进行数据传输，直接将存根指到相应链接。估计是个新功能，建议楼主直接找各厂家确认吧。

小的时候

多谢各位啦，我去找找资料~~