浩存 - 面向数据库，虚拟机等海量数据可同时提供NFS/iSCSI访问的集群存储系统

yftty

[quote]原帖由 "Randome"]上次谈的关于把名字空间分布于不同的MDS上可以解决单点瓶颈问题，但是却破坏了namespace的单一性并产生了更新后的一致性问题，对于每个Client看到的还是应该是一致的namespace，我觉得不管怎么分布还应该有一个统一

Randome

除了IBM的GPFS， CFS的lustre，RH的GlobalFS，Google的GoogleFS，现在商用的集群文件系统还有哪些？好像当前该领域还没有占压倒性优势的成熟的系统，大家的开发思路和大体结构我感觉都差不多。对于系统的开发，我觉得框架结构是最重要的，结构决定了系统的性能和发展空间，当前比较流行的结构大都是三段式：Client端，metadata server， data server(iod)，其中MDS由单一和分布式的区别，不知道还有没有其他的结构。

yftty

[quote]原帖由 "Randome"]除了IBM的GPFS， CFS的lustre，RH的GlobalFS，Google的GoogleFS，现在商用的集群文件系统还有哪些？好像当前该领域还没有占压倒性优势的成熟的系统，大家的开发思路和大体结构我感觉都差不多。对于系统的开发，我觉

yftty

OpenBSD-NFSv4 -- openbsd-nfsv4
http://mailman.theapt.org/listinfo/openbsd-nfsv4

Ocfs2-devel --
http://oss.oracle.com/mailman/listinfo/ocfs2-devel

PVFS2-developers -- A public mailing list for Parallel Virtual File System v2 developers
http://www.beowulf-underground.org/mailman/listinfo/pvfs2-developers

V9fs-developer --
https://lists.sourceforge.net/lists/listinfo/v9fs-developer

Lustre
https://lists.clusterfs.com/mailman/listinfo

OpenAFS
https://lists.openafs.org/mailman/listinfo

ReiserFS
http://www.namesys.com/mailinglist.html

Linux
http://vger.kernel.org/vger-lists.html

CU_runner

yftty的工作我一直在工作之余进行着关注，虽然对FS还很不了解，但是，兴趣以及对FS的信心还是让我产生了很高的学习热情。
正如，yf大侠所说，GFS是目前一个成功的linux集群FS。学习GFS的知识，应该对大家有所帮助，尤其是我们刚开始接触FS的人。毫无疑问，google发布的GFS白皮书对我们是一个很好的参考读物。可惜，我没有在网上找到中文的翻译。那么大家能不能共同翻译一下，给更多的入门者提供参考？如果大家愿意，我们分工一下，然后汇集成册，请yf大侠review一下，也算是各位对中国的FS事业作点贡献吧。当然了，如果各位有中文版GFS白皮书，或者自己已经翻译了，请与我们分享：）

我刚才对概要部分作了翻译，如下：
概要
我们已经设计并开发了Google的可扩展的分布式文件系统，这个文件系统适合大型的、分布式的、高密度数据的应用。由于运行在廉价的普通硬件基础上，该文件系统有很好的容错能力，并对高访问量表现出了良好的性能。
尽管我们的设计与以前的分布式文件系统有着共同的目标，但是，考虑到我们应用的工作负载和技术环境，不管是现在还是将来，我们的设计都会显著的有别于早期的文件系统。对此，我们已经重新审视了传统的设计观念，并开始探索一个全新的设计思路。
目前，这个文件系统已经很好的迎合了我们的存储需求，并已经作为数据存储平台在Google进行了广泛的部署以产生和处理我们的服务、研究和开发所需要的那些大量数据。这个目前世界上最大的数据集群，通过成千上万的机器上的硬盘提供了上百T数量级的数据存储，他同时可以为几百个客户端请求作并发处理。
在这篇论文里，我们将介绍支持分布式应用的文件系统的接口的扩展性，我们还要讨论文件系统的设计的诸多方面，并且列举出性能测试和实际运行的测试结果。

我扔了砖头，请大家拿玉砸我呀。

chifeng

提议yftty老大发起这个翻译gfs的项目，然后一起研究文件系统。
可以拿cosoft.org.cn做平台，呵呵。

yftty

http://bbs.chinaunix.net/forum/viewtopic.php?t=578270

潇湘夜雨 写到:

2005年  也是今年,是中国互联网商业化10周年的日子.
......
我可以负责任的告诉.com公司的兄弟们,GOOGLE、雅虎和你们一样需要海量的信息数据存储,GOOGLE 公司,1GB的数据存储成本在1美圆,新浪、搜狐、网易、百度、腾讯的CXO们你们自己来说说你们1GB 数据存储成本是多少?
我可以负责任的告诉你,是7美圆以上.
成本比人家高出7倍还多.你还有什么脸和人家GOOGLE比
技术不是天下第一  你告诉我技术是天下第几?
有本事你把你自己的成本降下去呀?七年前你是草根公司,七年后你手里美圆大把,你把你的成本降下去呀!
..........

yftty

http://storage.ittoolbox.com/

http://www.snia.org/home

http://www.osta.org/

CU_runner

尽管，以运营为主的公司，CXO很难同意技术第一的观点，但是，在技术含量高、从业人员稀缺又有很高回报的领域，比如FS，我想，CXO跪求有经验有热情的专业人员是迟早的事情。

希望yftty大侠能给我们多一些指点，也许，我们也可以为中国的FS作一些贡献。

soway

我最近也开始关注GFS的东西（RH的GFS），因为在我的环境中用到了集群计算。
以前采用的是nfs为中心的文件服务器，然后nfs export出来，这样可以实现文件的一致性，但是问题出来了，瓶颈没有在网络速度上。大量的小文件读取，导致速度非常慢，因为任何一次计算，都需要到nfs server上面去读取文件，这些文件需要通过网络，通过nfs服务，所以速度变得只有本地读取的十分之一。

我个人建议先做一些比较能让大家做到实际系统的工作开始。比如写一个怎么系统搭建GFS的步骤。

文件系统肯定是以后计算环境和存储中的一个重要的部分，因为要考虑备份，速度，安全等很多问题，目前的计算机最慢的就算这部分了。