1 23 / 3 页

论坛徽章:: 0

21楼 [报告]

发表于 2007-09-09 00:55 |只看该作者

-----------------------接前页-----------------------

3.9安全考虑

大部分集群，我们认为治疗集群作为一个单一的系统是最实用的方法安全。因此节点都不能办理到互联网一样对金，全部利用节点应考虑本地的。这是什么意思，某个集群的安全政策是一个地方问题。系统的路由节点，管理日益复杂，因为每个节点都成为一个会引起潜在的远端漏洞。在这种情况下可能有必要采取行动来保护成功攻击节点正在从杠杆变成全系统接入。在这种情况下，鼓励使用加密协议的内联网，可理想，但业绩的影响应该牢牢记住。

主要的例外情况是集群需要多层次的安全。我们有兴趣的问题，在这样一个制度，但在这一点上都没有做任何认真的调查。

我们选择了集中保护金从网络在逃。这主要包括保持核心系统到今天为止，并要求所有的通信必须通过加密协议如的ssh 。国内，我们鼓励使用的ssh连接节点，但允许rsh连接。太阳网发动机安装使用公匙基建为本的用户认证方案。我们发现，这是必要的，因为sge的默认权限模型其实比rsh在它甚至不要求保护暧昧一个较低的港口。跨节点通信加密性能的原因。

3.10系统监控

顺利运行一个集群可以辅助正确使用系统监测工具。最常见的监控工具，如nagios和大姐适用集群使用。一类监测工具并不好工作与集群，是那种定期发送电子邮件报告每个节点。甚至少数节点将产生更多的报告，然后最管理员有时间去阅读。除了标准的监测工具，还存在集群专用工具等节集群监控。最调度也含有监测功能。

关于奖学金，我们正在运行节集群监测系统和标准定期在freebsd脚本对核心系统。节被移植到了freebsd以前，但我们也创造了freebsd港口，使其更易于安装，使安装更开源等。一大优势是节，没有配置需添加节点。他们都是自动发现组播通过。我们也考虑用nagios 监测网点，但尚未成功部署。监测是一个方面，我们需要改进的奖学金。我们有磁盘失败后，开机无任何不知不觉，因为默认了freebsd无盘行为导致它无论如何开机。据尼斯表示节点保存工作，但我们惊奇地发现，一些机器已小存储器/川芎嗪目录而非36gb +基于磁盘的。

3.11物理系统管理

在某个时候，每个系统管理员认为他们需要获得主控台机或动力循环。只有少数机器，安装显示器对每台机器或安装一个开关式kvm所有机器和翻筋斗功率开关手动是一个合理的选择。一个大集群，安装串行终端服务器，让远程接入控制台及远程电源控制器可不可取。

中金的架构中，我们十分重视对远程管理。集群是住在我们控制进入数据中心，使身体进入累赘。此外，首席建筑师和生活管理员1000英里之外的数据中心，直接进入更困难。作为一个结果，我们都配置电脑，提供远程接入控制台通过终端服务器，并提供自己的力量，通过远程电源控制器。这使我们能够可靠地启动系统，将大大艾滋病复苏和远程故障诊断。并非所有问题都可以解决，这样，但许多人可以。我们能诊断开机造成失控的网络资源，但并非车祸所致raid控制器死亡。我们有不同的结果，通过bios进入控制台。对英特尔至强系统运作良好，但泰安奔腾三主板往往杭开机，如果bios的控制台重定向启用。在这两种情况下，我们能够获得freebsd的控制台，它已证明是有益的。

3.12外形

选择系统外形是一个普遍的选择之间的桌面系统在货架上与机架伺服器。货架台式共同为小簇，他们通常便宜不太可能有冷却问题。其缺点包括事实，他们采取了更多的空间，缺乏电缆管理导致较难维修，并普遍较差，美学。此外，大多数这类系统违反地震安全性法规。

机架系统通常较为昂贵，由于元件所产生的低得多，体积以及较高的利润率是在服务器市场。此外，衣架或柜子成本，然后更便宜的金属架。换取这项新增费用，机架系统提供高密度，综合线缆管理，并通常，提高审美。

密度较高，是一柄双刃剑。低端案件往往不佳设计和测试环境欠佳，导致经济过热，由于宿舍拥挤和恶劣的电缆线。此外，单一机架可以产生惊人的数额热量。我们估计是有20-30度（六）区别的前方与后方金的衣架上的xeon的，尽管正处于一个良好空调井下数据中心。这些衣架上有一个高峰期用电量超过6000w 每。

一个小问题项相关机架式系统机柜与开放，电信风格衣架。柜子看多擦拭，并在理论上可以提出各地。其缺点是成本提高，空间不足，使他们很难在工作，并容易过热，是由于气流限制。电信衣架并不像是整齐，而且一般螺栓到地上，但他们可以轻易进入电缆和无限制气流。在我们的情况，我们利用垂直线缆管理车门使得金外观十分整齐，无需柜子。

预计规模奖学金，我们驱车到一个机架配置。我们计划从一开始到最后都至少有 300个中央处理器，是推动合理范围与货架。唯一的一件事，不顺利，我们衣架是，我们选择了6英寸宽的垂直线缆管理，其中获得拥挤时。我们计划用10英寸宽屏垂直线缆管理时，我们扩大到第二排衣架下一财政年度。

4教训

最大的教训，我们学到的是硬件减员是一个真正的问题。虽然我们还没有看到很多硬-轨道不稳定问题，我们已失去了至少一台机器几乎每一次我们已经建立了一个全停电，预定或不定期。作为一个结果，我们了解到，这是重要的是有供应商谁来修复失败或失败的系统快。事实节点失败更频繁的话，我们原先预期还意味着布线整齐，是更关键的话，我们首先想到的。为了省钱，在最初部署时，我们遇到电缆直接从交换机到节点。这意味着我们有很多呆滞有线电视电缆管理，使拆除和重新安装节点困难。当我们扩大联网第二排衣架明年，我们计划把转经配线架上的首要每个机架连接面板旁边的开关。

我们还了解到，虽然多数高性能软件工程优良freebsd系统，高性能计算社区坚信世界是一个linux的盒子。人们常常难以确定，如果一个问题是，由于测试不足的代码或freebsd的东西。我们希望有更多的freebsd的用户会考虑聚类与freebsd 。

自动化系统，更重要的是，然后我们首先假设。举例来说，关闭系统停电，可以做远程的，但目前它需要采伐所有20远程电源控制器。我们目前正对这一自动化以及加入自动关机节点，在发生外部功率损耗。

5未来的方向与结论

金目前运作良好，但仍有改善了，特别是在以下领域和自动化调度。

我们计划为一个不断发展的制度，但我们没有可操作，以期取代旧硬件，所以我们不知道如何说是去工作，在实践中。显然，在某一点上，节点将浪费更多的权力的话，他们的价值，但我们不知道什么原因这一点。衡量拖鞋/瓦特将有助于确定这一点。我们也不知你的系统将开始拖欠刮板在未来或者如果他们会慢慢死在相当长的一段时间。

其他方向，我们必须继续在地区调度。我们需要更好地处理工作模式，不适合内分批范例，让用户有一个好的构思多久，他们的职位将运行。我们的一些用户已职位竞选星期或几个月的时间，所以这是一个紧迫的问题。我们正在搞内部研究经费探讨这个问题。

另一个感兴趣的领域是某种集群点播[摩尔]计划，让使用的节点以不同的方式在不同的时间。其中一项建议已经创造emulab [白色]分组可用于计算时，不被用于网络模拟。

分布式文件系统一样飞行并分发过程模型bproc就像是一个方面，我们希望看到进一步探讨在freebsd 。目前有大量工作，对linux ，但很少对freebsd的。

我们正致力于开发新的更高层次的并行编程工具，以支持特定的应用，如网格生成的计算流体动力学模型。我们目前正在部署的globus toolkit对航空网络将使得用户能够运行的应用系统跨多种计算资源，包括金，其他航空集群，并监测系统等sgi的起源。这种应用可以使用内置的编程工具，如gridrpc [西摩]正在开发由gridrpc工作组的全球网格论坛。

在中期，我们正朝着一个迁移到了freebsd 5.x改进smp的性能和线程支持。为改进线程单，这将是重要的一步。有一些重大的挑战，我们需要克服，其中最重要的就是要提升我们的网络基础设施车尾箱给netbsd的衍生rc.d启动脚本[ mewburn ]和geom磁盘子系统[坎普] 。

目前奖学金设置了广泛的混合工作所使用的用来作重大决策的空间系统。我们觉得在freebsd一直行之有效，在提供了坚实的基础，为我们的工作，并普遍支持，为高性能计算。我们鼓励其他国家考虑在freebsd为基础的高性能计算集群。

确

我们想感谢支持gps和学生车船津贴计划办公室。额外提供了支持，由航天计算机系统部。未经其经费的行政费用，奖学金将不会有什么令人吃惊的变化。

参考书目

贝克尔
唐纳德j贝克尔，托马斯英镑，丹尼尔萨瓦雷塞约翰e. dorband ，帝甲ranawak查尔斯诉隔beowulf ：工作站并行科学计算程序，在国际会议上并行处理， 1995 。

穆尔
贾斯汀摩尔，大卫欧文，劳拉沙砾，萨拉sprenkle ，杰夫和追逐。总经理混合使用集群与集群点播。计算机科学系。杜克大学。
   http://issg.cs.duke.edu/cod-arch.pdf

坎普
坎普， poul - henning 。 geom （ 4 ）。 geom -模块化磁盘i / o请求转换架构。 freebsd的内核接口手册在freebsd 5.1 。

perlstein
   perlstein ，阿尔弗雷德。在freebsd引进指南。
   http://www.freebsd.org/doc/en_us.iso8859-1/articles/pxe/

mewburn
   mewburn ，卢克。设计与实现了netbsd的rc.d系统。
   http://www.mewburn.net/luke/papers/rc.d.pdf

mpi的
消息传递界面论坛。 mpi的：一个消息传递接口标准。
   http://www.mpi-forum.org/docs/mpi-11.ps

在sgi
硅图形公司能源部的蓝山超级达到破纪录的运行。
   http://www.sgi.com/newsroom/pres ... /blue_mountain.html

郑义
   garrett郑义，大卫moffett 。欢迎到顶点-先进的电脑基工程。
   http://acme.ecn.purdue.edu/

史怀
答：施。该klingon猛禽集群。
   http://phoenix.physast.uga.edu/klingon/

喷射
学院的威廉和玛丽。喷射集群项目。
   http://www.compsci.wm.edu/sciclone/

rfc1918
信义rekhter ，乙moskowitz ， d. karrenberg ， g. j.德groot ， e.尔。地址分配私人因特网。

rfc1178
   d.藨。选择一个名称为您的计算机。

托尔金
   j.r.r.托尔金。指环王1955 。

白
白乙】。综合实验环境，为分布式系统和网络。在第五届学术研讨会操作系统的设计和执行， 2002年12月。

西摩
西摩，的k. ， nakada ， h. ， matsuoka节， dongarra ， j. ，李， c.在casanova我们， h. ，概述gridrpc ：远程过程调用api的网格计算。第三届国际研讨会网格计算， 11 ， 2002 。