互联网技术热点之--分布式文件系统，Lustre路在何方？（获奖名单已公布2013-4-7）

古丁高手

还是在fat/ntfs/ext3的环境

流氓无产者

哥比较落后了，只知道nfs/clusterfs,前天面一人，说做过分布式，我问他架构，他说是机密，我问他做哪一层，他说是机密，我问他涉及哪些技术，他依然霸气地回复是机密，现在做分布式的有那么吊么？
哥得加紧学习了,三蛋哥看好你

zhengwei_zw

机密 亮了。。。。。。。。。。。。。。。

hbsycw

回复 18# yuanzh78

云从技术上讲是弹性计算解决方案，云的火热的确有很大部分炒作嫌疑，因为，云概念的提出主要不是技术创新而是一种商业模式创新，各路诸侯抢着上，是为了未来的一统江湖。云听上去很美好，但还真有可能是陷阱~


   

hbsycw

流氓无产者 发表于 2013-03-06 09:15
哥比较落后了，只知道nfs/clusterfs,前天面一人，说做过分布式，我问他架构，他说是机密，我问他做哪一层， ...

哈哈，机密~

qidunhu

目前打算使用SNFS分布式文件系统，计算节点的计算量和IO量都很大...

milujite

本期话题：

1、什么场景下需要用到分布式文件系统？有哪些好处？目前的发展瓶颈是什么？
行业不同，互联网行业会经常使用这些分布式文件系统，互联网企业总是会用各种简单、低成本的技术实现复杂的功能。投票里的NFS严格来说他不是集群文件系统，只能说是网络文件系统，与CIFS是同类型技术。分布式文件系统一般用在大规模服务器需要共享访问同一数据的场合。分布式文件系统的好处当然是SCALE-OUT架构带来的成本和性能优势。SCALE-OUT架构虽然好，但是由于设计复杂，对很多用户来说，存在畏惧心理。因为用户确实不知道自己的数据具体存放在哪里。

2、您是否使用过或者评估过Lustre，有什么问题或者建议？
为了在多台SMTP和POP服务器里共享邮件数据，曾经有测试过LUSTRE，但是由于规模比较小，并且LUSTRE对大量小文件开销有点大了，性能也不好。最近EXT4和BTRFS这种传统的文件系统都已经将小文件直接嵌入inode来提高小文件的访问性能，LUSTRE是否可以借鉴下。

3、分享您在各种互联网业务中评测或者使用各种分布式文件系统的经验，或者您认为使用分布式文件系统能够给您的业务基础架构带来的优势。
LUSTRE虽然设计时有考虑小文件，并且也有相应的小文件的调优手册，但是总体来说小文件的性能表现并不好。分布式文件系统在大规模数据并发访问上是主流的技术，并且使用低端硬件和技术就能达到高端存储设备的性能，但是也将存储架构变得更加复杂。


另外不得不吐槽下，LUSTRE新版本目前怎么下载到？

load2009

nfs侧重点是个网络协议，而不是个分布式，也不是文件系统，
nfs在4.0版本开始支持server端分布式的概念，4.1版本还支持client在多个server并行读写
lustre主要面型HPC的吧，目前top100的super computer里面大部分都是用lustre做存储的吧
hdfs是跟map reduce之类的计算是紧密结合的
分布式文件系统要看不同的应用场景吧，每种场景都有适合自己的分布式文件系统
例如存储视频多媒体数据，常需要分布式文件系统支持EC纠删码的冗余方式，
目前开源的分布式文件系统大部分是副本方式冗余，EMC跟netapp这种专业存储公司倒是有商用设备支持EC，就是比较贵

dbl100

lustre在高性能计算领域用的比较多，它的优势是什么，是开源还是有其它的特点；

另外也有很多其它的商业版的集群存储软件，有大公司有小公司，稳定性都还可以；对大文件的处理效率也可以，与他们相比lustre有什么优势

目前gluster比较热门，而且有很多技术实力一般的厂商只稍加修改就直接变成自己的产品销售了，对gluster的发展和技术怎么看，与lustre的对比优劣势是什么

send_linux

qidunhu 发表于 2013-03-06 10:14
目前打算使用SNFS分布式文件系统，计算节点的计算量和IO量都很大...

这个能够详细说说么？和大家分享分享