RHEL4安装

果园老农

JS21上网络安装RHEL4.rar (520.79 KB, 下载次数: 51)

2011-03-25 12:32 上传

点击文件名下载附件

郝宇赫

在 x3650 上安装RHAS4

使用机型：        x3650(797971C)
磁盘接口：        SAS
使用硬盘：  73.4GB  × 3
处理器：        Intel 5160, 3GHz , L2 Cache  4MB
内存：          1024 MB
使用网卡：        On-Board Broadcom NetXtreme Gigabit Ethernet

一.        安装前的准备：

1.安装前需要准备什么：
   检查并升级主板BIOS到最新版本
   需要4张有许可证的RHAS4 光盘
   可支持的硬盘驱动器（请访问http://www.pc.ibm.com/us/compat,查看支持的选件及其部件号）
   装有ServeRaid 8k RHAS3 驱动程序的软盘。
2.从哪里获得设备驱动和文件：
  x系列服务器/NF服务器/PC Server驱动程序下载一览表：
http://www-900.ibm.com/cn/suppor ... rix?categoryid=2131
二.        操作系统安装
1  启动服务器，在系统提示时按ctrl+A 进入ServeRAID 8k/8k-l 设置程序，在里面按需要和提示设定好硬盘和RAID（如果需要的话），设定好后退出。
    2  BIOS中设置机器先从CD ROM引导系统。将第一张RHAS4 光盘装入光盘驱动器中，引导RHAS4到如下图所示情况后，将ServeRAID 8k/8k-l 驱动程序软盘插入外置软驱（驱动及软盘制作见驱动程序下载一栏表），在“Boot：”后键入linux  dd 回车，加载驱动。



ServeRAID控制器驱动加载完成后进入安装界面。


安装进入基本设置，设置“语言”为中文，美式键盘。如遇已经安装某一版本RedHat，要求选择升级或完全安装，选择安装Red Hat ENTERPRISE Linux AS



硬盘分区。要求创建根分区和交换分区，根分区不小于256M，建议创建交换分区，可为2G。如此部分空间容量设置过小，将无法安装软件包。此部分需要特别注意，否则可能造成硬盘数据丢失。


安装软件包

安装软件包，途中要求插入光盘2，光盘3，以及光盘1进行安装后配置


取出光盘，重新引导

机器重启后进入欢迎界面并要求进行简单设置包括许可协议，日期时间，显示，创建系统用户等。

结束设置，安装完成

郝宇赫

供稿人：东丰


随着我国经济的不断发展，各个行业对于高性能计算的需求越来越大，例如石油天然气的勘探开发，工程上的系统设计，结构分析，生命科学领域的制药建模，理论验证，还有天气预报，天文，化学等等许多领域。而刀片服务器，由于其本身的设计特点，在有限的空间内可以提供更高的计算密度，并具有省电，管理方便等诸多优势，被广泛的应用在高性能计算领域。


IBM BladeCenter®支持范围广泛的处理器技术和操作系统，使客户能够在单一的体系结构内运行各种完全不同的工作负载。而 IBM BladeCenter®JS21，是基于64位的IBM PowerPC®970MP处理器，带有AltiVec™ SIMD 加速器的刀片服务器产品，是针对高性能计算和商业集群应用的理想平台，能够支持64位UNIX和Linux平台，高密度低功耗，是构建企业数据中心集群系统的首选。


在高性能计算集群系统中，所有的计算节点需要专用的网络连接起来，比较常见的有以太网，Myrinet和Infiniband。基于千兆以太网构建的集群系统，价格比较便宜，可以通过TCP/IP协议来进行通讯，但是缺点是它会占用大量的CPU资源来处理网络通讯，同时，节点间的通讯延时比较高，针对一些I/O通讯要求比较高的应用，会导致集群整体效率较低。Infiniband是一种新型的总线技术，它具有高带宽（目前常见的是4倍速的连接方式，可以提供10Gb/sec的带宽），低延时的特点，同时，它还具有CPU卸载功能，也就是说，它只会占用极少的CPU负载，因此通讯效率极高，可以让CPU更专注于应用的处理，大大提高整个集群的运行效率。由于Infiniband是一个开放的标准化的高性能互联技术平台，现在已经越来越广泛的被高性能计算集群所采用。


在最新的2007年11月的TOP500排名统计中，我们可以看到，使用Infiniband互联的集群系统比2006年11月的统计结果提高了55%，而其它的类似的高速互联方式，例如Myrinet或者Quadrics则都是负增长，Myrinet是-77%，Quadrics是-36%，所以，Infiniband已经成为高性能计算集群的首选的高速互联方式。

  Nov-06 Nov-07   
Myrinet 79 18 -77%
Quadrics 14 9 -36%
Infiniband
78 121 55%
Ethernet 213 270 27%

下面，我们将具体介绍如何在IBM BladeCenter JS21上实现基于Infiniband的高性能计算环境。


首先，我们需要在所有的作为计算节点的IBM BladeCenter JS21上安装相同的操作系统。通常，我们会使用相同版本的Linux发行版本，例如Red Hat Enterprise Linux 4 Update 5 for IBM POWER，并且，安装的软件包也完全一样，这样可以方便我们对整个集群进行管理。如果计算节点的数量比较多的时候，我们建议通过专用的集群管理软件来安装，例如xCAT（Extreme Cluster Administration Toolkit）或者CSM（Cluster System Management），如果计算节点的数量很少，例如只有几台，我们也可以直接通过光驱安装或者网络安装。在这里，选择完全安装是最简单的方法，也可以根据需要，除去不需要的软件包，只保留计算任务所需要的软件包，例如GCC以及一些库文件等，关于如何安装操作系统，我们就不在这里介绍了。


在完成了操作系统的安装之后，我们还需要安装Infiniband的驱动程序。在这里，IBM BladeCenter JS21支持Cisco 4X InfiniBand Expansion Card for BladeCenter，这种扩展子卡需要与Cisco 4X InfiniBand Switch Module for BladeCenter配合使用，这样，Infiniband网络才能正常工作。


Cisco 4X InfiniBand Expansion Card for BladeCenter 的驱动程序我们可以从Cisco的网站上下载，文件名是Cisco_OFED-1.2-fcs.rhel4.iso。可以直接执行光盘根目录下的ofedinstall安装脚本进行安装。

./ofedinstall
This program will install Cisco OFED IB packages on your machine.

Note that all other Cisco, OFED, or OpenIB IB packages will be removed.

Do you want to continue?[y/N]:y

Drivers for the following kernels will be installed.
2.6.9:55.EL:ppc64:

The following installed OpenIB packages conflict with the packages to be
installed and will be removed:
libibumad-1.0.1-7
dapl-1.2.1-7
ibutils-1.0-4
libibmad-1.0.1-7
libibumad-1.0.1-7
libehca-1.0.1-7
libibcommon-1.0.1-7
libsdp-1.1.0-7
opensm-libs-2.0.0-7
libmthca-1.0.3.1-7
libibcm-0.9.1-7
libibcommon-1.0.1-7
libsdp-1.1.0-7
libibverbs-1.0.4-7
librdmacm-0.9.1-7
openmpi-libs-1.1.1-8
libibverbs-1.0.4-7
openib-1.1-7
opensm-libs-2.0.0-7
libmthca-1.0.3.1-7

Installing packages.
Preparing... ########################################### [100%]
1:kernel-ib ########################################### [100%]
Preparing... ########################################### [100%]
1:kernel-ib-devel ########################################### [100%]
Preparing... ########################################### [100%]
1:ib-bonding ########################################### [100%]
Preparing... ########################################### [100%]
1:tvflash ########################################### [ 3%]
2:ibutils ########################################### [ 5%]
3:libibcommon ########################################### [ 8%]
4:libibcommon-devel ########################################### [ 11%]
5:libibmad ########################################### [ 13%]
6:libibmad-devel ########################################### [ 16%]
7:libibumad ########################################### [ 18%]
8:libibumad-devel ########################################### [ 21%]
9:libibverbs ########################################### [ 24%]
10:libibverbs-devel ########################################### [ 26%]
11:libibverbs-utils ########################################### [ 29%]
12:libmthca ########################################### [ 32%]
13:libmthca-devel ########################################### [ 34%]
14:libopensm ########################################### [ 37%]
15:libopensm-devel ########################################### [ 39%]
16:libosmcomp ########################################### [ 42%]
17:libosmcomp-devel ########################################### [ 45%]
18:libosmvendor ########################################### [ 47%]
19:libosmvendor-deve ########################################### [ 50%]
20:librdmacm ########################################### [ 53%]
21:librdmacm-devel ########################################### [ 55%]
22:librdmacm-utils ########################################### [ 58%]
23:libsdp ########################################### [ 61%]
24:mpi-selector ########################################### [ 63%]
25:mpitests_mvapich2_gcc ########################################### [ 66%]
26:mpitests_mvapich_gcc ########################################### [ 68%]
27:mpitests_openmpi_gcc ########################################### [ 71%]
28:mstflint ########################################### [ 74%]
29:mvapich2_gcc ########################################### [ 76%]
30:mvapich_gcc ########################################### [ 79%]
31fed-docs ########################################### [ 82%]
32fed-scripts ########################################### [ 84%]
33penib-diags ########################################### [ 87%]
34penmpi_gcc ########################################### [ 89%]
35:perftest ########################################### [ 92%]
36:rds-tools ########################################### [ 95%]
37:sdpnetstat ########################################### [ 97%]
38:srptools ########################################### [100%]

Installing hca_self_test and MPI examples.

Configuring /etc/infiniband/openib.conf and /etc/security/limits.conf.