小文件归档，存储量不断扩大，有没有什么好的解决方法？

睡到马路上

我曾经测试个几个归档产品，性能都不太好，文件数太多，扫描和数据归档时传输太慢，并且对生产主机负载太大。和楼主情况类似，不知道有什么好的解决办法，搭车问问，关注一下。

其实我明白

做啥分级，现在磁盘这么便宜容量又大，多买点磁盘

小的时候

做啥分级，现在磁盘这么便宜容量又大，多买点磁盘
其实我明白 发表于 2011-02-25 07:29

扩容这方法治标不治本啊，每次扩容成本也挺高的，担心不断的扩容会影响性能，另外还有要求需要做备份，目前备份只能是找到个节假日对不同目录发起个增量备份。

三大原因

什么操作系统，数据是存放在一般文件系统还是NAS上，什么应用啊，定期将历史文件备份一次，然后从本地删除。

小的时候

什么操作系统，数据是存放在一般文件系统还是NAS上，什么应用啊，定期将历史文件备份一次，然后从本地删除。 ...
三大原因 发表于 2011-02-25 07:43

是AIX，不是NAS，是一个IBM的存储，目前基本上就是备份完了就从将历史文件删除这么做的，但因为备份太慢，时常又有查找历史文件的需求，老需要做恢复，工作量太大，每次都担心恢复不了，还好到目前为止还没出问题。

三大原因

是AIX，不是NAS，是一个IBM的存储，目前基本上就是备份完了就从将历史文件删除这么做的，但因为备份太慢 ...
小的时候 发表于 2011-02-25 07:44

小文件确实比较麻烦，之前接触的一些客户的应用系统，如金融保险行业的影像系统、电销系统，电信行业的祥单系统等都找不到好的解决方法

大人大量

如果只是备份，NAS可以用NDMP的方式，普通文件系统一般各个备份软件都支持块级备份方式，归档的话不知道，快速备完了删了得了，虽然麻烦点但还能凑合用吗。

小的时候

如果只是备份，NAS可以用NDMP的方式，普通文件系统一般各个备份软件都支持块级备份方式，归档的话不知道，快 ...
大人大量 发表于 2011-02-25 07:49

块级备份是不是只能进行整个卷的备份和恢复？

大人大量

块级备份是不是只能进行整个卷的备份和恢复？
小的时候 发表于 2011-02-25 07:50

不同的备份软件方式不一样，Legato的snapimage需要对整个卷进行备份，恢复也只能进行整个卷的完全恢复。NetBackup的flashbackup也需要对整个卷进行备份，但可以实现单个文件的恢复。CommVault的ImageLevel备份时只备份卷内实际数据占用的数据块，同时可以支持单文件的恢复。如1TB的文件系统，如果只用了200G，那legato和nbu要备份1TB。

lwmexa

此种应用,关键是大量小文件在备份或归档时的读取效率,彻底解决可能比较困难,提高性能是一种方法.
没有归档的数据要备份,归档的数据还要保留双份,不然无法恢复访问的阴影永远留着.
这种情况比较实际的方法是做分级归档,主存储+在线二级高密度SATA磁盘存储+磁带库
设备容量配置可根据访问的命中率要求进行,所有数据都保留双份,生成系统数据往二级磁盘存储上迁移时,使用细水长流的方法,控制生产系统的存储容量,减少生产系统备份的时间.