（转贴）在 AIX 上的 CSM 集群安装实例

thedada99

CSM即cluster system management,是IBM开发用于高性能运算（HPC-high performance computing)的一套集群软件，最简单的结构是一个管理端，控制2个计算节点，来共同完成计算人物，多用于一些对于运算要求很高的行业，比如研究机构，银行的数据中心等，它也是IBM Linux on Power的一个重要的亮点。这是一篇CSM安装的配置文档，写的比较清楚，虽然我没有亲自装过，但是，看完后也想试试看。\r\n原文：http://www.ibm.com/developerwork ... gr-cn-ixpub&amp \r\n\r\n 安装概述 \r\n                 本文档描述了 CSM 在刀片平台上的安装部署过程，硬件环境采用了经典的刀片集群硬件架构，在实际应用系统部署中，具有一定的参考意义。本文的具体内容包括：管理节点的安装，计算节点的安装，CSM 计算节点的管理功能 \r\n                CSM 介绍 \r\n                CSM是 IBM 公司开发，专门用于集群系统管理的中间件，在 Cluster1350 解决方案集成。CSM 的设计思想与体系结构来自 PSSP(IBM Parallel System Support Programs for AIX)与其它一些开源的集群管理软件。还有一些中间件及技术，虽然不直接为用户服务，但构成了 CSM 的不可或缺的基础，包括 RMC、SRC、RSCT等。\r\nCSM 的体系结构如下图所示。\r\n                                    \r\n                                    \r\n                 其中 CSM Server 只安装运行于管理节点，CSM Client 安装运行于所有受控节点。\r\nCSM 提供了从单一控制点管理多个机器的能力。单一控制点是管理服务器，它必须是一台 pSeries 服务器。在群集中该操作系统的每个实例都是受管节点，它可以是运行在各种 IBM eServer 型号上的 AIX 或 Linux。\r\n以下管理任务都可以通过 CSM 完成：\r\n用安装和设置命令简便地创建和配置群集。安全设置也通过这些命令完成。\r\n将群集中的节点静态或动态地组成节点组。\r\n在群集或特定节点组之间运行命令，并收集来自所有节点的输出。\r\n在群集或特定节点组之间同步文件。\r\n确定系统状态。\r\n打开或关闭节点（如果远程硬件控制是一个选项的话）。\r\n监视系统情况（例如，系统是否在运行、CPU 的使用、文件系统的使用）和响应发生在另一节点上的事件而运行的命令或操作（例如，生成 SNMP 陷阱、对系统管理员发送电子邮件或对其进行呼叫）。\r\n所有这些任务都可以通过使用命令行来执行。许多任务也可以通过使用 SMIT 面板和基于 Web 的系统管理器来执行。 \r\n                \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 安装环境 \r\n                 安装环境是采用 JS21 集群搭建，管理服务器采用 p520 机架式的服务器。\r\n                \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 拓扑结构 \r\n                 硬件平台由一个管理节点和两个计算节点组成，管理节点为一台 P520. 计算节点为两片 JS20 刀片。本次文中没有使用独立的计算网络。而是简单的使用同一网络做计算与管理。网络拓扑图如下：\r\n                                    \r\n 图一网络拓扑图 \r\n                                    \r\n                详细配置 \r\n                \r\n 表 1. 软硬件环境配置列表 \r\n                 硬件平台  网络配置  操作系统  应用软件 IBM JS20 刀片服务器 \r\n 计算节点 1 csmnode1\r\n2 颗 2.2GHz 处理器， 2GB 内存，1 块 73GB 硬盘192.168.21.201AIX 5.3 TL5CSM client 1.6.0.3IBM JS20 刀片服务器 \r\n 计算节点 2 csmnode2\r\n2 颗 2.2GHz 处理器 2GB 内存，1 块 73GB 硬盘192.168.21.202AIX 5.3 TL5CSM client 1.6.03IBM P520 机架式服务器 \r\n 管理节点 csmmaster\r\n2 颗 1.9GHz Power5 处理器 4GB 内存 2 块 SCSI 73GB 硬盘192.168.21.138AIX5.3 TL5CSM server for AIX 1.6.0.3                            \r\n\r\n 安装过程 \r\n                 下文依次描述了集群管理服务器，集群安装节点，集群节点的安装配置过程。\r\n                 刀片和刀片中心环境配置 \r\n                刀片中心与交换机等各种硬件都采用默认的出厂设置，无需配置。在实际的安装部署中，需要大家按照客户环境将 HPC 的管理网络与计算网络配置到不同的 VLAN 中。\r\n                \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 安装 CSM 集群管理服务器 \r\n                CSM 集群管理服务器是安装集群的核心内容，配置好管理服务器后，其他计算节点都是通过它来定制并实现快速的网络安装。\r\n                检查管理服务器软件版本 \r\n                 安装 CSM1.6 管理服务器对 AIX 操作系统的版本要求如下 : \r\n               

• AIX 5L 5.2 (5200-09) 或更高版本， 5.3 (5300-05) 或更高版本。

                CSM 计算节点的 AIX 操作系统软件版本要求如下 :\r\n               

• AIX 5L 5.2 或 5.3 版本以上 ( 查看命令 #oslevel –r)
• RSCT 2.3.10.0 以上， 2.4.0 以下 for AIX 5L 5.2 ( 查看命令 lslpp rsct*)
• RSCT 2.4.6.0 以上 for AIX 5L 5.3. (5305 并不包含，需要额外下载 )

                定义管理服务器以及节点的域名解析 \r\n                 将主机名称与对应的 IP 注册到域名服务器 (DNS)，或 /etc/hosts 文件中。需要定义设备包括 :\r\n               

• CSM 管理服务器
• CSM 计算节点
• 有网络连接的非计算设备。( 如 HMC，交换机，电源管理设备 )

                                    \r\n 本实例 hosts 文件如下图所示 \r\n                                    \r\n                重新 export $PATH 和 $MANPATH 变量。\r\n                 把 /opt/csm/bin 目录加入到 $PATH 中去。把 /opt/csm/man 目录加到 $MANPATH 中。\r\n               

export PATH=$PATH:/opt/csm/bin\r\nexport MANPATH=$MANPATH:/opt/csm/man\r\n

\r\n                 可以将下列两行加到 /etc/profile 或 $HOME/.profile 文件最后。\r\n                                    \r\n                                    \r\n                安装软件包 \r\n                 创建 /csminstall 目录 \r\n#mkdir /csminstall\r\n 下载其他开源软件 \r\nopenCIMOM 0.8 \r\n 如集群中包含有与 HMC 连接的 P 系列计算节点需要管理，则必须安装此软件包。在升级 CSM 的时候如报错，可能也需要安装此包。\r\n                    [url=]AIX 开源包下载地址[/url]                    \r\n 安装 CSM 软件 :\r\n 通过 smit 进行安装，需要安装以下文件包：\r\n                    \r\n

• csm.core
• csm.diagnostics
• csm.deploy
• csm.server
• csm.hc_utils
• csm.gui.dcem
• csm.gui.websm
• csm.msg

                                 下载安装更新 \r\n                        最新版本的 CSM 下载地址 :\r\nhttp://www14.software.ibm.com/webapp/set2/sas/f/csm/home.html\r\n 下载到 /tmp 目录，使用下面的命令进行安装。\r\n

gunzip csm-aix-1.6.0.30.tar.gz\r\ntar -xvf csm-aix-1.6.0.30.tar\r\ngeninstall -IaX -d /tmp/csm all

\r\n                                 激活 CSM 的 license\r\n                 如果使用的是 60 天试用版，则运行： \r\n#csmconfig –L\r\n 如果是授权客户，在安装光盘中有附带 license key. 执行如下命令 :\r\n#mount -v cdrfs -o ro /dev/cd0 /mnt\r\n#csmconfig -L /mnt/csmlum.full\r\n 试用版客户可在购买 license 后，通过此法升级到授权客户。\r\n                \r\n                拷贝 CSM 相关文件到 /csminstall\r\n                 执行 #csmconfig –c\r\n 此步骤 ,CSM 将会自动拷贝相关文件到 /csminstall 默认的文件目录下。可能需要数分钟时间，稍作等候 \r\n                设定硬件控制模块 (hardware control point) 的信息 \r\n                        添加刀片中心的第一个管理模块（Management Module） mm1 的账户信息。\r\n        #systemid –c mm1 USERID\r\n 然后输入密码， 默认为 PASSW0RD\r\n                验证安装的完整性 \r\n                 验证管理节点的安装，执行 probemgr -p ibm.csm.ms -l 0\r\n 验证硬件控制模块配置，执行 probemgr -p ibm.csm.hwctrl –l 0 如验证结果无报错，则进入到下一步，安装节点的配置。\r\n                \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 配置安装节点 \r\n                 安装节点只是一个逻辑的概念，并非须设立一个单独的服务器来执行安装服务。在本例中，我们采用的是集群管理服务器同时作为安装节点使用。\r\n                配置安装节点服务 \r\n                 确认管理节点安装有 NIM 软件包。\r\n\r\n

\r\n #lslpp –l | grep nim\r\n bos.sysmgt.nim.client 5.3.0.50 COMMITTED Network Install Manager -\r\n bos.sysmgt.nim.master 5.3.0.50 COMMITTED Network Install Manager -\r\n bos.sysmgt.nim.spot 5.3.0.50 COMMITTED Network Install Manager - SPOT\r\n X11.Dt.helpmin 5.3.0.0 COMMITTED AIX CDE Minimum Help Files\r\n bos.sysmgt.nim.client 5.3.0.50 COMMITTED Network Install Manager -\r\n

\r\n                                 运行 nim_master_setup –B ( 需要在光驱放入 aix 第一张安装光盘 )\r\n 运行 lsnim 确认资源都正确创建。( 参看下图 )\r\n                                    \r\n