集群文件系统 改变企业存储方式 (2)

ccjq5753

由于国家科学基金会的项目数据也运行在NCSA的计算机上，因此NCSA的存档服务器每月要增加40~60TB的数据。就在上世纪90年代末，计算机科学家还在研究怎样在程序里利用内存，以避免向磁盘读写数据。“现在不用再教他们这些东西了。”巴特勒说，“计算机科学家的习惯已经发生了很大改变。”
传统上，也有好几种方法能够扩大存储的规模。高度标准化的网络附加存储系统（NAS）使用通用的协议可以在局域网（LAN）上共享文件，比如微软公司的CIFS系统，或者基于Unix和Linux的标准的网络文件系统（Network File System）都是如此。用户通过这些系统可以将很多电脑连上同一台服务器，共享存在于网络里的虚拟磁盘。NAS使用廉价的以太网连接各台计算机，但它传输数据的速度只有1GB，比多数应用程序运行速度都要低。由于它与本地磁盘交换数据的速度相对快于网络通信的速度，结果就造成阻塞现象。
存储区域网络（SAN）传输速度超过了NAS，最高可达2~4GB，但需要昂贵的光纤通道交换机提供支持，而且每台计算机还要配备一块价值1,000美元的板卡。此外，iSCSI协议在共享存储网络中日益普及，它允许SAN内部磁盘和计算机之间直接通过以太网通信。
集群文件系统的快速磁盘通信速度可能会吸引一些特殊行业，他们对于数据I/O速度有很高的要求，比如银行、石油勘探、微芯片制造、汽车制造、航空和电影电脑动画等行业就是如此。
一些出售集群文件系统的小公司正在开始赢得一些重量级的客户。与Lustre软件相关的知识产权的拥有者集群文件系统公司（Cluster File System Inc.）将雪佛龙公司（Chevron Corp.）列入了自己的客户名单。而新兴企业Panasas公司（Panasas Inc.）的一个大客户是沃尔特-迪斯尼公司（Walt Disney Co.），Panasas公司将称为“ActiveScale”的集群文件系统与硬件进行了捆绑销售。根据Illuminata公司的透露，一些大厂商也在探索这个技术：国际商业机器公司（IBM）正在考虑在GPFS文件系统里加入基于对象的存储。戴尔公司（Dell）也在与Ibrix公司合作，销售Ibrix公司的Fusion文件系统。
戴尔公司发现，从公司服务器运行情况来看，非常迫切需要引进Ibrix公司的技术，这个新的需求也使得戴尔公司重新检视应该如何捆绑网络与计算。戴尔公司过去在向客户销售集群产品时，基本是以1GB的带宽来匹配1Tflop浮点运算的计算能力，公司可扩展系统集团高级经理维克托·马沙耶其（Victor Mashayekhi）说。“随着时间的推移，我们看到数据处理带宽和计算能力的比值提高了，也就是说对带宽的相对要求更高了。”他说，“你会发现计算能力不得不等待数据传输，而大量的数据卡在了I/O环节。”
迫于大量数据的需求，德克萨斯高级计算中心（Texas Advanced Computing Center）引进了Ibrix公司的Fusion文件系统。这家中心位于奥斯丁德克萨斯大学（University Of Texas）校园中。中心主要是给大学的研究人员提供计算服务。目前，中心采用了文件系统来提高一个计算流体力学应用程序的性能。
大约1,700位科学家采用这个程序模拟空气动力学中的湍流。项目的每一个流程都需要写入一个大小在300~400M之间的文件。中心高性能计算集团经理汤米·明雅德（Tommy Minyard）表示，如果使用NFS系统来写入所有所需数据，大约20GB的文件就要花费约50分钟。这种情况每个小时都会遇到。结果是程序每运行1小时，只有10分钟是在进行计算。而有了Ibrix公司的系统，程序的I/O写入时间缩短到每小时5分钟。“它对于系统的所有用户都带来了好处。”明雅德表示。
当然，这的确是个好消息。但从另一方面来看，集群文件系统的标准才刚刚出现，而这些软件都是由刚入行的小企业所拥有。他们所能运行计算机类型也比较有限，这也限制了软件的推广。Lustre技术只能在Linux和Catamount（来自超级计算机制造商Cray公司的一种不知名的操作系统）上运行。而且它很难安装，文档记录功能也不太完善。基于这些因素，一些商业科技经理采取了观望态度。
“Lustre看上去很有意思，但是我们目前还没有采用任何相关的系统。”梦工厂动画公司（DreamWorks Animation SKG）制作技术主管安迪·亨德里克森（Andy Hendrickson）表示，“有个很大的问题是，它能否达到所承诺的性能，它的可靠性是否足够作为制作的基础？我们对这些方面有着很高的要求。”也许在总结了所有公司对集群文件系统的所有关心问题之后，亨德里克森还会问：“如果安装了这项技术，我们需要改变多少流程？”这种新兴技术的好处能够超过给企业带来的风险，仍有待进一步观察。
要点
集群计算机里，计算机与磁盘间数据交换速度的提升无法跟上微处理器和内存增长的速度，从而也拖累了应用程序的性能。
一种新兴的集群文件系统软件提高了I/O速度，可能降低企业购买存储设备的成本并改变企业购买存储的方式。
集群文件系统已经在大学、实验室和超级计算研究中心里使用，而且即将进入通用商业计算市场。


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u2/72067/showart_1008654.html