论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2008-10-22 19:40 |只看该作者 |倒序浏览

公司业务数据存储量目前已超6亿,后端采用FAS3040存储设备，NAS接口。
现应用程序读一个文件，速度超慢，经咨询，这是由于iNode数量超大引起。
业内较多使用开源的lustra分布式存储软件，但售后无法保障。
请问：如果还是采用集中式存储，是否有较好的方法。（需要考虑将来100亿个小文件的读取）.
谢谢！

文库|博客

冬瓜头

大富大贵

论坛徽章:: 2

2楼 [报告]

发表于 2008-10-22 20:04 |只看该作者

今天刚进来看这个课题，确实是个有待解决的课题。
100y个文件。。。。
inode数量，ontap对没个foler有规定的，太大了严重影响性能。可以先考虑尽量平衡在多个vol中，由于wafl会载入每个vol的buftree，平衡在每个vol中，有利于wafl处理，只要内存够大。另外，需要在读cache上下功夫，minra＝off一定要设置。总之，解决的办法就是两个字：平衡。集群方式也是基于平衡的思想，目前尚无其他办法，除了ssd之外。。。ssd令谈。。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

冬瓜头

大富大贵

论坛徽章:: 2

3楼 [报告]

发表于 2008-10-22 20:06 |只看该作者

另外，netapp有个technic report专门讲如何优化海量小文件的，楼主可以去down来看看先。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

klin121628

小富即安

论坛徽章:: 0

4楼 [报告]

发表于 2008-10-22 20:14 |只看该作者

好变态的要求........
当前硬件估计优化方式和效果都有限

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

zeemanzheng

白手起家

论坛徽章:: 0

5楼 [报告]

发表于 2008-10-22 20:17 |只看该作者

感谢解答，所说方法NETAPP工作师已作过，但效果不明显。
不知采用集群NAS网关这种方法是否可行，比如EMC的CELERRO？3KS

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

klin121628

小富即安

论坛徽章:: 0

6楼 [报告]

发表于 2008-10-22 20:21 |只看该作者

我觉得最大的瓶颈在于当前设备并不足以支持这样的应用要求

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

nhuczp

小富即安

论坛徽章:: 0

7楼 [报告]

发表于 2008-10-23 09:27 |只看该作者

每个文件大小大概有多大？

如果采用NAS网关的方式，就得考虑文件的大小，文件的大小如果小于MDS大小性能下降很严重。

如果是大文件NAS能很好的解决。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

yftty

家境小康

论坛徽章:: 0

8楼 [报告]

发表于 2008-10-23 15:25 |只看该作者

原帖由 zeemanzheng 于 2008-10-22 19:40 发表
公司业务数据存储量目前已超6亿,后端采用FAS3040存储设备，NAS接口。
现应用程序读一个文件，速度超慢，经咨询，这是由于iNode数量超大引起。
业内较多使用开源的lustra分布式存储软件，但售后无法保障。
请 ...

http://bbs.chinaunix.net/thread-544517-1-1.html

看看我们的系统吧，可以解决你的问题，发你站内短信了