论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2005-05-27 20:21 |显示全部楼层 |倒序浏览

出了几天差，今天终于回来了，看了咱论坛，和我几天前看的相比，新贴还是不多，看来人气还是不行啊，有点郁闷。总结这次出差安装MSA1000的经验和得失，写了这个安装指南，希望能对大家有用。写的不是很详细，大家包涵了，当然，如果有不正确或不当的地方，也兄弟们多多指正，大家共同学习进步。

安装条件：
硬件：两台DS25服务器，MSA1000阵列（带两控制器），四块光纤通道卡（HBA），四条光纤通道线，内存通道卡
软件：Tru64 5.1B OS（带相关补丁）

安装步骤：
1．硬件连接。个人认为这是前期的准备工作，是正确安装MSA1000及集群软件的重要前提，如果这个工作没做好，会给后面的工作带来相关的问题，使安装难以继续。因此，该步工作应该仔细，认真。硬件连接具体又可以分以下几小步：
1）将HBA卡分别安装到DS25服务器上，如果机器本身已带有，恭喜你，这步可以省略。
2）内存通道卡跳线，内存通道卡上有很多跳线器，根据现场的情况应该对内存通道卡进行跳线，具体如何跳，由于现场条件不尽相同，建议参考内存通道卡用户指南。根据经验，如果这步没做好，再用clu-add-member增加集群节点时会出问题。
3）接线工作。通过光纤通道线和内存通道卡连接线将HBA卡和阵列，两台服务器之间的内存通道卡正确连接起来。
4）上述工作完成后，可以加电进行下面的操作了。
2．配置MSA1000阵列
找一台PC机，通过阵列随机带的黑色串口线(维护线，一端串口，一端RJ45口)，将PC机和阵列的控制器连接起来。在PC中，通过超级终端和阵列通讯，其中，串口的设置为：
   波特率: 19200
数据位: 8
奇偶校验: 无
停止位: 1
流控制: 无
在阵列启动完成后，在超级终端下敲回车键，会看到CLI>; 提示符
在该提示符下，可以对磁盘阵列进行配置了。（以做RAID 5为例）
1）首先查看阵列中的硬盘
CLI>; show disks
Disk List: (box,bay) (bus,ID)    Size    Units
Disk101    (1,01) (0,00)    72.8GB none
Disk102    (1,02) (0,01)    72.8GB none
Disk103    (1,03) (0,02)    72.8GB none
Disk104    (1,04) (0,03)    72.8GB none
Disk105    (1,05) (0,04)    72.8GB none
2）对阵列进行分区
一般的分区原则，若是集群中只有两个节点，则分五个盘：
unit 1 Quorum盘，
它是一个可以被两个节点访问的物理硬盘，用来保存集群的信息。这些信息是用来维护集群的完整性以及使节点保持同步，特别是当节点不能与另一个节点通信的时候。Quorum盘在某一时刻只能被一个节点所拥有，并用来决定由哪个节点来拥有集群的所有资源。Quorum必须位于共享的磁盘子系统中，一般都是使用外接的磁盘柜。一般情况下，不建议把应用程序和数据保存到包含Quorum的硬盘上。
Unit 2 Member 1 Boot Disk
每个成员的启动盘(member boot disk)也划分为三个区, 以下是这三个分区的文件系统, 分区及推荐的分区大小:
文件系统(类型)          分区                推荐大小
   Member boot disk：root       a                   500M
（Advfs）(实际占用50M左右)
Member boot disk：swap       b             大于等于该成员内存的3倍
   Member boot disk：          h                   50M
CNX cluster status
Unit 3 Member 2 Boot Disk
unit 4 Clusterwide root (/), /usr, and /var Disks (Shared)
不管某一个成员是否启动，已经启动的成员必须能够访问集群范围内的AdvFS文件系统。因此，集群范围内的AdvFS文件系统必须建立在共享SCSI总线上的硬盘上，集群范围的root (/), /usr, and /var必须处于不同的分区上
unit 5 Clusterwide data盘（应用盘）

CLI>; add unit 1 data="disk101 disk102 disk103 disk104" raid_level=5 spare="disk105" stripe_size=64 size=100MB
First volume to be configured on these drives.
The logical unit size has been adjusted by  6MB for optimal performance.
Logical Unit size                =    94 MB
RAID overhead                   =    30 MB
Total space occupied by new unit  =    124 MB
Free space left on this volume: =  277729 MB
Unit 0 is created successfully
Unit 2  unit3，unit4,unit5等类似进行创建即可。创建完后可用show unit命令进行观察
CLI>; set unit_id 1 2
Device identifier 1 created.

CLI>; set unit_id 2 3
Device identifier 2 created.

CLI>; set unit_id 3 4
Device identifier 3 created.

CLI>; set unit_id 4 5
Device identifier 4 created.

CLI>; set unit_id 5 6
Device identifier 5 created.
CLI>; show unit

3）建立HBA卡和控制器之间的连接
CLI>; add connection ds25a wwpn=10000000-C94535B4 profile=Tru64
Connection has been added successfully.
Profile Tru64 is set for the new connection
其他的连接类似建立即可。
其中wwpn是在光纤通道卡的16位号码，在服务器的控制台下，通过>;>;>;show dev 可以查看

connection建立完后，在两台服务器的控制台下分别执行下列命令：
>;>;>;wwidmgr –set adapter –item 9999 –topo fabric
>;>;>;init
>;>;>;wwidmgr –quickset –udid 2
>;>;>;wwidmgr –quickset –udid 3
>;>;>;wwidmgr –quickset –udid 4
>;>;>;wwidmgr –quickset –udid 5
>;>;>;init

然后在CLI>;下执行show connections查看连接是否正确建立
CLI>;show connections

3．做cluster，按以下步骤：
1）在任一服务器上安装操作系统和TruCluster软件，安装时要选全部的子集，安装操作系统采用AdvFS文件系统。这台服务器就将成为Cluster 的第一个成员. 操作系统的安装与在工作站上的安装一样，包括汉字语言、多媒体、C++开发环境等。操作系统安装完成后，要对系统进行配置。包括网络配置在利用系统提供的配置工具进行网络配置时，不要配静态路由，选择路由daemon时，选取gated（而不是routed）。TruCluster 软件在操作系统相关软件2上。
2）运行sysman ntp配置时钟同步。
3）用diskconfig命令对Cluster盘进行配置，
文件系统(类型)          分区                推荐大小
  Cluster root (/ )             b                1000M左右
(Advfs)( cluster的根区,主要用来存放操作系统文件,实际占用250M左右)

  Cluster  /usr                g                大于4000M
(Advfs)(各个成员的公用的/USR区,所以一定要大.可以将应用安装在上面,操作系统约占用1.2G,)

  Cluster  /var                h                大于2000M
  (Advfs)(各个成员公用的/VAR区)

4）安装操作系统所带的补丁软件。另：如果HBA卡是手动加入的，如果系统无法识别，可能需要安装nhd。
以 root 用户登录.
5）在一个终端里运行 clu_create 命令，开始创建cluster 的第一个成员 member 1。  该命令会提示你输入一些创建cluster 成员必需的信息。在这些提示中，有些信息是缺省值，比如对成员的编号（member 1 或 member 2），成员应具有的票数（votes，缺省值为1），cluster 内部虚拟网络的名称及 IP 地址（均缺省提供）等等。
需要提供的信息主要包括：Cluster 的别名及IP地址、Cluster 范围的根区盘极其分区情况（ / 、/usr 、/var 所在的磁盘分区，比如为 dsk5b，dsk5g，dsk5h），第一个成员的boot disk（比如为 dsk3），Quorum disk 所在盘的标识（比如为 dsk2）。
在创建完成后，cluster 软件会自动设置一些控制台变量，比如把 bootdef_dev 设置成第一个成员的boot disk 所在的盘等. 然后重启系统，系统便从cluster的成员 member 1 上引导启动。

6）在已创建的成员节点上运行clu_add_member 命令。注意，你不必在新增的成员上安装 Tru64 UNIX 操作系统。在运行clu_add_member 命令前，确保当前成员已完全配置（网络接口配置，网络服务配置，TruCluster  Server 的 license 已经安装）根据提示完成成员的增加。

注：限于篇幅，类似的操作步骤省略，命令的输出结果也没有写出来。在现场的具体应用中，应根据具体的情况来调整。
另外要特别感谢myuhan，谢谢他提供的参考资料