互联网技术热点之--分布式文件系统，Lustre路在何方？（获奖名单已公布2013-4-7）

send_linux

获奖名单已公布，详情请看：http://bbs.chinaunix.net/thread-4075405-1-1.html

随着互联网和移动信息化的飞速发展，各种业务数据爆炸性地增长，海量数据不停产生后被存储，并时刻需要被高速访问。传统的集中式存储已经很难满足这样的需求，互联网分布式存储系统也应运而生。高吞吐量、更高的性价比、更加可靠、部署友好、易于扩展、这是正是现在的互联网分布式存储的主要特性。

分布式文件系统将数据的访问和存储分布在大量的廉价存储服务器之上，通过高速网络在可靠地多备份存储的同时，还能够将来自网络上纷繁复杂的访问智能调度到分布在集群中的各个服务器之上，这是传统存储构架的一个颠覆性的发展。

Lustre是HP， Intel，Cluster File System公司联合美国能源部开发的，面向大规模集群的存储架构，基于Linux平台的开源集群并行文件系统，符合GNU GPL v2协议，其最大特征是高扩展性和高性能，能够支持数万客户端系统、PB级存储容量、GB/s级别的I/O吞吐量。Lustre 采用分布式的锁管理机制来实现并发控制，元数据和文件数据的通讯链路分开管理。

2012年7月，Intel宣布已经收购Whamcloud，同时也得到了其专为超级计算机和集群设计的文件系统Lustre，正式成为分布式文件系统Lustre的鼎力支持者。

全球顶级超级计算机系统中有大量都使用了Lustre，百强中份额超过40％，前三十名中更是占据了一半，其中就包括目前排名第一的IBM Sequoia红杉。

您现在所面对的互联网业务是否需要使用分布式文件系统？
您在考虑使用分布式文件系统时，考量的重点是什么？
目前纷繁复杂的需求催生了多种分布式问文件系统，您更看好哪个？

活动时间：2013年3月4日-3月14日

邀请嘉宾：
范勇：Intel公司文件系统专家
长期从事分布式文件系统的设计与研发，曾参与多款分布式系统的设计与实现，有十余年相关领域的实践经验。2006年加入Lustre团队，是Lustre-1.8核心系统的重要贡献者之一，以及Lustre-2.x系统架构设计及实现的核心成员之一。

刘歧：ChinaUnix论坛嵌入式版版主，现从事互联网网盘业务底层文件系统的开发和维护工作。

余庆：ChinaUnix论坛FastDFS版版主。分布式文件系统FastDFS作者，一直从事互联网研发工作，有着12年unix环境下C开发经验。对高性能服务器端编程有着比较丰富的开发经验。 现在阿里巴巴从事apache traffic server的开发和应用工作。

本期话题：
1、什么场景下需要用到分布式文件系统？有哪些好处？目前的发展瓶颈是什么？
2、您是否使用过或者评估过Lustre，有什么问题或者建议？
3、分享您在各种互联网业务中评测或者使用各种分布式文件系统的经验，或者您认为使用分布式文件系统能够给您的业务基础架构带来的优势。

本期奖品：
最佳经验分享奖两名，奖励价值120元的礼品各一份；
积极参与经验分享奖4名，奖励价值60元的礼品一份
参与投票会员，获得社区积分20分

更多参与，更多好礼！

开源将军

主要使用nfs多一些，先学习学习大牛师兄对分布式文件系统的简练分享，以备后用。

st_ceyaq

四大名捕四面出击看天下还有没有人敢不在顶

zhaopingzi

lustre，有单点故障问题

liaoboda

好久不来论坛了,其实我们用的分布式的文件系统规模很大的,应该有20~30个PB吧.基本上商用的和开源的都测试过了,目前有的有isilon panasas lustre HDS(bluarc),HP(ibirix),sun 7410(ZFS).测试过GPFS 等等.lustre我们使用的最大的问题的可靠性的问题.当然是相对于isilon和panasas.如果有机会我们大家可以一起讨论一下.范工我也好久没见了.

shang2010

嗯，有真实的案例，做得也不错

wang290

chenyx 发表于 2013-03-11 10:24
这个太详细了,果断收藏备用.

谢谢版大的收藏

milujite

薄饼芥末 发表于 2013-03-25 18:21
http://downloads.whamcloud.com/public/lustre/

好人啊～官方太坑了

薄饼芥末

milujite 发表于 2013-03-06 10:59
另外不得不吐槽下，LUSTRE新版本目前怎么下载到？

http://downloads.whamcloud.com/public/lustre/

tjpm

Lustre主要是用在HPC行业内做共享存储，国内外大的超算中心大都是使用的Lustre的。配置维护比较麻烦，不是太适合一般的企业使用。

在超算行业里，目前Lustre算是久经考验并且大规模使用的文件系统了。