集群文件系统 改变企业存储方式(1)

ccjq5753

由现有的PC、硬盘和以太网线，基于Linux操作系统，所组成的高级计算机，不仅仅是一种以低成本获得高性能计算的方法。他们在过去10年中还颠覆了大型计算机系统的市场。但是集群计算机与磁盘之间传输数据的速度，却没能跟上微处理器和内存的发展速度，结果一些重要项目因此而增加了额外的时间和成本。不过，最近出现了一类新的集群文件系统软件，它将有可能降低公司购买存储设备的成本。
新的集群文件系统采用了开源的Lustre技术，由美国能源部（Department Of Energy）开发，惠普公司（HP）提供商业支持。它显著提高了输入输出（I/O）速度，目前已经在高校、国家实验室和超级计算研究中心产生了一定的影响，未来几年中，它还有可能进入普通商业计算领域。
“从这套系统的基本性能来看，它简直快得不可思议。”斯科特·司徒汉（Scott Studham）表示。司徒汉是美国橡树岭国家试验室（Oak Ridge National Laboratory）国家计算科学中心（National Center For Computational Sciences）的首席技术官（CTO）兼某Lustre用户团体的主席。有了Lustre，每台机器与磁盘间的I/O速度从每秒数百MB提高到每秒2GB。由于性能几乎与连接工作站的数量保持同步上升，集群内从磁盘读取数据的总体速度可能会达到每秒几十GB。
“企业级文件系统无法达到这个速度。”皮克斯动画工作室（Pixar Animation Studio）技术副总裁格雷格·布兰多（Greg Brandeau）认为。这家工作室采用了创业公司Ibrix公司开发的集群文件系统。当他们在制作动画电影《汽车总动员》（Cars，明年发行）时，这套系统必须对2,400只处理器组成的渲染机群、每天多达2,400亿次的数据请求做出响应。皮克斯动画工作室首次使用了“光线追踪”（Ray Tracing）技术，可以带给角色反光色和更加真实的光影效果，但这会消耗大量的处理器和网络资源。“过去半年来，我们已经认识到，使用高性能计算确实能够带来与企业计算不同的效果。”布兰多表示。
不久前，惠普公司发布了可扩展文件系统（Scalable File Share）的第2版，这个产品是去年年底推出的，包含一台服务器和一只软件包，使用Lustre技术来分布集群内的存储服务，这种做法与过去几年一些IT厂商为提高服务器性能所采取的分布式计算方式非常相似。SFS系统允许集群里的Linux节点能以高达每秒35GB的速度读取数据，而且允许高达512TB的总存储容量，这是以前旧有系统容量的两倍。惠普公司高性能计算产品市场经理肯特·昆宁格（Kent Koeninger）表示：“之所以能达到这样的速度，关键之一是因为使用了集群技术来组建存储系统。”
提高传统文件系统的扩展性问题，与计算机管理磁盘上所存储数据的方式有关。计算机文件由分散在整个磁盘上的数据块组成，而不是一个有机的整体。文件系统追踪这些数据块，当文件需要更多空间时，系统就会分配空闲的数据块满足其需求。但是如果多台计算机争着访问数据，大部分文件系统就会锁定被某个计算机所使用的一个数据块，即使其他计算机也在请求这个数据块。当那台机器结束访问以后，集群中其他节点才可以访问那个数据块。但是当管理人员在集群里加入了更多的机器，有时是几百或者几千台，管理这些数据块就会消耗更多的CPU资源和网络带宽。
“最终，这些都导致了应用程序性能的降低。”IT市场调研公司Illuminata公司分析师大卫·福罗因德（David Freund）表示，“于是，就出现了系统的扩展性问题。”Lustre技术通过让成百上千台服务器共享一个文件系统的方式解决了这个问题。它将数据块管理功能扩展到所有设备上。尽管有几十台机器同时在处理I/O事务，但相对于其他集群里的机器，他们看上去仍旧像是同一台文件服务器。这就使得它带来的I/O速度要比商业计算标准，比存储区域网络或网络附加存储高出很多。
“Lustre技术解决了一个高性能计算市场和通用市场都会遇到的障碍：磁盘驱动器速度无法与处理器和内存带宽的增加保持同步。”司徒汉这样认为。他还进一步解释说，当用户在集群的众多处理器上部署应用程序，从磁盘读取数据或者写入数据都会阻塞性能的发挥。这个问题非常严重，因此他在跟存储供应商谈判的时候，关心的是数据的速度，而不是容量。“在过去10年，我们往往就GB容量的价格与存储供应商讨价还价。”他说，“而今后，我们会更加关注单位带宽的成本。在我过去购买存储设备的经历中，我还是第一次提出这样的问题，‘我不关心你给我多少容量；我更关心的是单位带宽的成本。’我们正好遇到了拐点。”
集群计算机在科学和商业领域正变得日益重要。在2004年11月田纳西大学（University of Tennessee）和德国曼海姆大学（the University of Mannheim）公布的全球500台速度最快的超级计算机名单当中，有296个系统是集群计算机。存储也获得了业界更多的关注，因为旨在防止诈骗的新出台的联邦法规，也正刺激企业保留更多的数据。2005年，太阳计算机系统公司（Sun）投资41亿美元现金收购ST公司（Storage Technology Corp.）的举措，就是为了顺应这个潮流。如果高校、国家实验室以及少数比较大胆的企业能够更加广泛地采用Lustre和其他类似技术的话，就很有可能会改变目前企业普遍流行的存储采购方式。
“Lustre技术已经吸引了大量的眼球。”集群专用网络设备制造商Myricom公司的首席执行官（CEO）兼首席技术官（CTO）楚克·赛茨（Chuck Seitz）表示。凭借这项技术所带来的速度和低成本优势，Myricom公司的产品在一些国家实验室获得了一席之地，比如劳伦斯·利弗莫尔国家实验室（Lawrence Livermore National Laboratory）、西北太平洋国家实验室（Pacific Northwest National Laboratory）以及美国超级计算应用国家中心（NCSA）等。
NCSA在被称为“Tungsten”的集群上运行Lustre，它拥有1,240节点、9.8Tflops浮点运算能力，主要用来运行气象科学、航天以及其他应用程序。NCSA存储技术项目经理米歇尔·巴特勒（Michelle Butler）解释说：“你肯定不愿看到一台价值800万美元的机器在那里等待数据I/O。”等待时间的减少也意味着那些拿了国家科学基金会津贴（National Science Foundation）的科学家们，可以花费更少的计算时间来从事自己的研究。“5~10年前的应用程序，由于等待时间太长，因此没有一个做I/O处理。”她说，“现在的数据铺天盖地。”


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u2/72067/showart_1008653.html