lustre海量小文件高并发访问的性能到底如何？

wing922wing

有同事想基于lustre构建一个网络文件服务器，用于存储互联网的海量小文件（从几k-2m不等），系统需要承受高并发的访问，请问lustre是否适合用于类似图片服务器这类的系统架构，看过版主写的关于lustre的文章，提到过在海量小文件上表现一塌糊涂，但是因为没有测试数据，不知道这块性能差到底差到什么程度，是否有兄弟做过一些测试，能否给出相关数据。
     lustre的白皮书中写需要使用SAN，请问这是必须的吗，还是说只是在SAN下才能发挥lustre的性能，个人并不太喜欢类似lustre这样的东西，感觉对于一般的文件共享服务来说，太过重型，但是这方面缺乏经验，请有经验的兄弟，多多指点。
     如果是小文件，并行文件系统并无优势，仅仅是文件共享的话，管理如此之多小文件的metadata，mds是否会有瓶颈？另外对于lustre的failover方案很头痛，对一般的应用来说，成本太高，不知道这些观点是否正确，请有经验的兄弟指正。

kns1024wh

或者可以看看FastDFS 这个项目

wing922wing

谢谢楼上的，我看过fastDFS，个人比较喜欢这种轻量的系统，并且自己可以控制源码，对于我们这样仅仅是存储一些网络文件，而非hpc或者ha应用，我觉得更便宜且灵活，但是我同事认为lustre是商业软件，质量更有保障（其实也不打算买服务，没啥保障可言）。因此我想有一个对比的数据，限于手里暂时没有足够的硬件，无法自己做测试，就到这里请教一下用过lustre的同学，对于海量的小文件，性能到底是怎么样的，能不能给一个大概的数据，failover的机制也是我非常讨厌的，用一台机器专门来做备份，仅仅只是备份，对一般的应用来说太浪费了，而且我们用window上的服务访问，还要架设一个samda服务给win存取，感觉过于笨重。
     对于lustre的了解仅仅限于官方的白皮书和网上搜索的资料，从有限的资料看，大都是用于hpc的环境，没看到用其做网站或者类似应用的存储，所以想找用过lusttre的兄弟咨询一下，lustre应对海量小文件高并发访问性价比到底如何？

nntp

原帖由 wing922wing 于 2009-4-15 09:06 发表
谢谢楼上的，我看过fastDFS，个人比较喜欢这种轻量的系统，并且自己可以控制源码，对于我们这样仅仅是存储一些网络文件，而非hpc或者ha应用，我觉得更便宜且灵活，但是我同事认为lustre是商业软件，质量更有保障 ...

很差，不好.

你自己仔细读lustre的文档，了解一下它的实现原理和方法就应该会很清楚的，当一个很小的文件存在在lustre cluster的时候，实际上是完全在一个OST上，事实上等同于单机上的小文件，加上lustre额外的开销.
做做加法就知道了. 海量小文件目前最好的解决方案是不存在的(至少我完全没有听说过). 一般都是要自己来开发. 如果没有底层开发能力，用高速高档的集中存储，我认为是一个用钱换性能的最明显的方法.

wing922wing

非常感谢版主的回答，我详细看过白皮书和实现原理，也是得出同样结论，但是因为这方面缺乏经验，所以特别向经验丰富的前辈请教一下，终于证实了这个想法，非常感谢！^_^

wolfop

海量小文件可能目前相对性能比较好点也就用高端NAS了。