Chinaunix

标题: 请高手指点：超过10亿的海量小文件读取设备选型 [打印本页]

作者: zeemanzheng 时间: 2008-10-22 19:40
标题: 请高手指点：超过10亿的海量小文件读取设备选型
公司业务数据存储量目前已超6亿,后端采用FAS3040存储设备，NAS接口。\r\n现应用程序读一个文件，速度超慢，经咨询，这是由于iNode数量超大引起。\r\n业内较多使用开源的lustra分布式存储软件，但售后无法保障。\r\n请问：如果还是采用集中式存储，是否有较好的方法。（需要考虑将来100亿个小文件的读取）.\r\n谢谢！

作者: 冬瓜头 时间: 2008-10-22 20:04
今天刚进来看这个课题，确实是个有待解决的课题。\r\n100y个文件。。。。\r\ninode数量，ontap对没个foler有规定的，太大了严重影响性能。可以先考虑尽量平衡在多个vol中，由于wafl会载入每个vol的buftree，平衡在每个vol中，有利于wafl处理，只要内存够大。另外，需要在读cache上下功夫，minra＝off一定要设置。总之，解决的办法就是两个字：平衡。集群方式也是基于平衡的思想，目前尚无其他办法，除了ssd之外。。。ssd令谈。。

作者: 冬瓜头 时间: 2008-10-22 20:06
另外，netapp有个technic report专门讲如何优化海量小文件的，楼主可以去down来看看先。

作者: klin121628 时间: 2008-10-22 20:14
好变态的要求........\r\n当前硬件估计优化方式和效果都有限

作者: zeemanzheng 时间: 2008-10-22 20:17
感谢解答，所说方法NETAPP工作师已作过，但效果不明显。\r\n不知采用集群NAS网关这种方法是否可行，比如EMC的CELERRO？3KS

作者: klin121628 时间: 2008-10-22 20:21
我觉得最大的瓶颈在于当前设备并不足以支持这样的应用要求

作者: nhuczp 时间: 2008-10-23 09:27
每个文件大小大概有多大？\r\n\r\n如果采用NAS网关的方式，就得考虑文件的大小，文件的大小如果小于MDS大小性能下降很严重。\r\n\r\n如果是大文件NAS能很好的解决。

作者: chuhongze 时间: 2008-10-23 17:05
用的是什么系统,数据库用的是什么?

作者: 衍水狂客 时间: 2008-10-24 00:53
CommVault的Image Level备份小文件很好！~~~

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)