Linux集群走向主流zt

fengwy

正像Linux领导着开源软件乘风破浪、勇往直前一样，Linux与集群技术的结合，创造了一片新天地。Linux集群以更低的成本获得更出色的性能，并已开始步入高性能计算（HPC）的主流市场，也顺应了HPC平民化的发展趋势，在教育、科学计算、石油勘探、天气预报甚至核爆炸模拟等领域都可以见到它的身影。不过，如何构建性价比更好的Linux集群呢？构建Linux集群应该选择哪些技术与产品？用户在定制自己的Linux集群时应该注意哪些问题？Linux集群产品主题会给出一些建议。

集群是高性能计算领域增长最快的，Linux集群是集群领域增长最快的。Linux集群的低成本、开放性、标准化是其受到追捧的主要原因。

Linux集群增长最快

近年来高性能计算领域有很多热门词汇，其中之一就是代表全球高性能计算机最高水平的“TOP500”。TOP500项目始于1993年，每年两次对全球范围内的高性能计算机根据Linpack测试排名。每次“HPC全球TOP500排行榜”的公布不仅全面反映当前高性能计算领域的最新成就，而且预示着未来高性能计算的发展方向。毋庸置疑，TOP500已经成了高性能计算领域的晴雨表。

从近几年TOP500公布的计算机列表中，可以看到一个明显的现象：在TOP500列表中集群系统所占的比例迅速增加，1997年只有一台，但是到2005年11月发布的第26次世界最快超级计算机TOP500排行榜中已经达到360台，占到TOP500的72％。如图1所示。


图1 TOP500集群数量变化趋势
集群系统能有今天的地位，很重要的一个原因就是得益于Linux操作系统的发展。在TOP500的操作系统中，Linux系统伴随着集群系统的兴起也有不凡表现，1998年只有一套，但是到2005年已经达到371套，占到了TOP500的74.2 %，如图2所示。


图2 TOP500 Linux系统数量变化趋势
透过TOP500我们可以看出高性能计算技术的发展方向，Linux集群应该是我们需要重点关注的焦点之一，Linux和集群技术的日益普及已经深刻影响了高性能计算产业的发展，并推动中国高性能计算产业进入一个泛高性能计算时代，俗称“平民化时代”。

Linux集群魅力四射

所谓Linux集群，就是利用商品化的工业标准互联网络，将各种普通Linux服务器连接起来，通过特定的方法，向用户提供更高的系统计算性能、存储性能和I/O性能，并具备单一系统映像（SSI）特征的分布式存储MIMD(多指令流多数据流)并行计算机系统。

与SMP(对称多处理系统)、MPP(大规模并行处理)及beowulf集群相比（如右页表所示），集群在性能价格比、可靠性、可扩展性、可管理性、应用支持性方面有着更为明显的优势。


需要强调的是，Linux集群系统并非采用商品化部件、开源监控管理、作业调度等软件堆叠的非标准化、零散性、无序性、与应用脱节的PC服务器群，而是通过相关软硬件整合而成的标准化的、一体化的、专用化的、好用的、高可用的、安全的、智能化的系统。随着Linux集群应用的普及，Linux集群技术已成为高性能计算技术中的热点，并日渐成熟。

Linux集群应用遍地开花

正是因为集群具有上述优势，再加上开源Linux操作系统及商品化计算部件、交换和存储部件的推动，Linux集群近年来得到了广泛应用。按照Linux集群的应用领域，我们可将Linux集群划分为科学计算应用、信息服务应用和事务处理应用三类。科学计算Linux集群可以应用于各种需要大规模高性能计算的领域，如基因数据的分析、气象预报、石油勘探等，支持作业级并行和进程级并行，具有灵活的体系结构，同时其Linux节点可按照应用需求定制，以满足应用所需要的高计算量、高吞吐量。科学计算集群配备标准的科学计算编程环境（如MPI、PVM）、数学库、函数库、并行调试器、并行优化器等工具。

信息服务Linux集群可以支持大规模的网页浏览、电子邮件、流媒体等服务，具有极好的可扩展性和很高的性价比。它采用先进的动态负载均衡技术以及高可用技术，使得集群内部无通信瓶颈，而对外具有很高的吞吐量和可用性。信息服务Linux集群系统内部连接灵活的存储子系统，包括分布式全局文件系统和高性能的存储网络，可以充分满足信息服务对大容量数据的需求。

事务处理Linux集群是面向商业事务处理领域的集群，比如机场票务处理、银行事务处理等，它不仅要具备高性能和高可靠性的特点，一般还对集群的安全性、容错性、数据存储等有严格的要求。

Linux集群呈现五大发展趋势

纵观Linux集群技术的现状，其在2006年面临如下发展趋势：

1．基于刀片式服务器的集群架构兴起

刀片式服务器技术研究经历了不同的发展阶段，从1999年～2001年最初的Blade Swich领域，及其后的Architecture、存储虚拟化，到2004年刀片式服务器整体性能提升技术研究，再到2005年刀片式服务器的专用化研究，可以说刀片式服务器产品在多核、低功耗技术的推动下已完成从最初一味追求高计算密度的第一代刀片，发展到强调整体综合性能、高生产力的第三代刀片产品。未来的两到三年，刀片式服务器将以其高服务密度、敏捷式部署维护、全方位监控管理融合、高可扩展性、高可用性，全面取代传统的基于机架式服务器的Linux集群体系架构。2006年我们预期基于刀片式服务器的Linux集群架构将兴起。

2．集群标准化深入泛高性能计算时代

2005年9月，国内服务器厂商曙光公司把泛高性能计算时代下集群技术总结为十大标准，为Linux集群技术及应用推广普及打下了非常好的基础。继此之后，集群在远程\异地操作控制、一体化监控、集群负载均衡、智能机柜、异构支持、集群简易管理、集群快速部署、集群高速并行吞吐、集群安全、行业应用等方面的技术标准慢慢浮出水面，并被高性能计算行业所接受。标准化是行业应用成熟化的标志，在面临高性能计算进一步平民化的2006年，我们期待以上集群标准技术会有更进一步的发展和普及。

3．虚拟计算技术在集群应用中向更深层次发展

伴随Microsoft的Virtual Server、VMware的VMware Workstation和Xensource的Xen，以及Intel的Vanderpool、AMD的Pacifica等部件级及系统级虚拟技术的兴起，我们期望2006年虚拟技术在集群系统应用中将会有更深一步的发展。基于应用级集群虚拟计算技术不仅将给我们带来更高的集群部件利用率，同时也会为我们带来支持应用动态迁移、故障自动隔离、系统自动重构的高可靠集群应用环境，以及更为简洁、统一的Linux集群管理模式。

4. 集群可信计算环境构造技术浮出水面

2006年基于商业计算及信息化应用对集群架构的普及推动，我们期望基于内外网隔离、统一身份认证、访问控制、分布式入侵检测、流量分析、应用层及传输层加密传输协议、主动防护等技术催生全新的集群应用可信计算环境构造技术框架，从而打造从物理层到应用层全方位的、多层次的、立体的集群应用安全环境。  

5．细分专用，应用导向

曙光4000H面向生物信息处理的专用Linux集群、曙光气象专用服务器、曙光石油专用机的横空出世让我们期待2006年Linux集群的发展将继续以满足行业细分应用为导向，以高生产力为驱动，以行业应用软件整合为契机，可以预期，在2006年的服务器市场将出现更多行业应用专用Linux集群。(作者单位:国家智能计算机研究中心)

·观点·

标准化、开放化促进HPC快速发展

今天，HPC结构已经进入相对平稳的时期，并会持续三到四年。这个时间非常有利于应用的普及，同时非常有利于学术界、产业界在体系架构方面做出全新的突破。来自各方面的信息都表明，标准化与开放化是HPC发展的主流与方向。

Linux Networx公司的CEO Robert(Bo) H. Ewald接受记者的采访时言及，每天都有不同类型的用户转向使用Linux操作系统。而宝德公司副总裁马竹茂先生说，宝德高性能计算机产品最重要的是做到了开放化，坚持采用工业标准，以更高的性能价格比满足客户的个性化需求。宝德的特色是透明公开的架构，包括硬件是开放式IA架构计算节点；软件采用最先进、最稳定、性价比最好的商业软件和免费中间件；互联主推性价比良好的标准以太网和高性能Infiniband技术。整体系统架构对用户透明，各个环境都整合了业界最好的技术。

Unisys公司系统与科技事业部亚太区营销副总裁李志明先生则认为，Unisys公司的大机发展方向是在“开放系统的价格、主机性能”上不断推陈出新。Unisys广泛使用Intel处理器和微软产品系列来开发垂直与水平解决方案。未来的Unisys实时基础架构解决方案将能够实现基础架构组件的标准化，以降低业务和IT运营成本。

曙光公司总工在接受记者的采访时也认为，集群占有率不断提高。集群结构从应用上来说未来的发展有三种形式：一种是“核武器”类，强调的是针对特定应用在最短的时间提供最高的系统，会采用专用配件，也会采用专用的软件，成本并不是重点要考虑的因素；第二种是高科技武器，采用一部分通用部件，同时要定制一些专用部件，最大化地提高性价比，讲究在单位功耗、单位成本下，最大化地满足用户需求；第三种，实际上更多的是DIY，根据商品化的属性，采用开源的软件构建的集群，追求低成本的营运模式。

未来两个方向值得重视:一是轻型体系架构方面的研究，会从单纯地提高CPU的速度和单纯地降低CPU一级、二级的访问延迟，发展到综合考虑CPU、存储器、I/O等各种因素；其次商品化、标准化以及好用性、平民化也已经成为今天要考虑的重点因素。(鸣秦)

L若尘

学习ING