（转贴）使用 HACMP/XD + GLVM 实现高可用性集群

thedada99

HACMP/XD是HACMP的扩展版本，主要针对于远程环境的HACMP应用，GLVM是把远程服务器的磁盘作为自己的磁盘来使用，然后使用镜像技术来实现数据的同步。GLVM不需要使用共享存储设备。这篇教程还是比较详细的描述了HACMP/XD + GLVM的安装，有不少的图示，还是是比较有用处的。\r\n原文：http://www.ibm.com/developerwork ... gr-cn-ixpub&s_tact=105agx52&s_cmp=gr\r\n\r\n     本文向您详细地描述了 HACMP/XD+GLVM 在 IBM System p5 系列服务器上的安装过程，一步一步地通过示例向您演示了整个安装步骤，包括系统的准备，关键软件包的安装，安装过程中的各项参数的选择等重要步骤。本教程可以作为一个 HACMP/XD+GLVM 在 IBM System p5 系列服务器上的安装范例来使用，对于希望安装此产品的读者很有帮助。本教程的所有操作步骤都是由 IBM 工程师和合作伙伴工程师共同在实际环境下进行测试的。\r\n\r\n开始之前\r\n\r\n了解本教程中包含的内容以及如何最好地利用本教程。\r\n\r\n前言\r\n\r\nHACMP/XD GLVM 是一种基于软件的通过 TCP/IP 网络实现关键业务数据镜像的新技术。HACMP/XD GLVM 通过支持 AIX 5L 逻辑卷来保证业务连续性的运行，提供了较为简单易用的配置和使用方法，适用于 p 系列服务器的应用负载环境。 HACMP/XD GLVM 通过实时镜像数据及自动接管 / 恢复的功能来保证企业的业务连续性，即瞬时接管 / 恢复数据并保证关键应用的可靠性。\r\nHACMP/XD GLVM 提供的数据复制是基于 AIX 5L Logical Volume Manager (LVM) 进行的 , 可以对 AIX 逻辑卷做数据复制及同步，且不限物理距离。HACMP/XD GLVM 与 AIX 5L 的 LVM 集成在一起，使用 HACMP/XD GLVM 的用户只需要配置一个 AIX 远程伪设备驱动程序来定义远程物理卷， HACMP/XD GLVM 的用户需要将远程磁盘配置为“远程物理卷”，并将这些远程物理卷与本地物理卷组合在一个卷组中以便完成镜像，这个卷组由 AIX 5L 的 LVM 象本地卷组一样进行管理。熟悉 AIX 5L LVM 的用户一定会非常容易地掌握 HACMP/XD GLVM 的使用。\r\n使用 HACMP/XD GLVM，用户可以通过两或三份镜像的数据管理位于两地的生产和备份中心（不限距离），达到异地自动接管且不丢数据的目的。\r\n其系统架构如下：\r\n\r\nHACMP/XD GLVM 架构\r\nfile:///C:/DOCUME%7E1/dada/LOCALS%7E1/Temp/moz-screenshot.jpg\r\nfile:///C:/DOCUME%7E1/dada/LOCALS%7E1/Temp/moz-screenshot-1.jpg\r\n\r\n\r\n\r\n    回页首\r\n\r\n\r\n目标\r\n\r\n希望通过本文的学习，可以使读者能够独立的完成 HACMP/XD GLVM 在 P 系列服务器上的安装过程，以及如何进行集群配置。\r\n\r\n\r\n\r\n\r\n    回页首\r\n\r\n\r\n先决条件\r\n\r\n在学习本教程之前，您应该具备基本的 AIX 系统的概念，有一定的 AIX 系统的操作能力。\r\n\r\n\r\n\r\n\r\n    回页首\r\n\r\n\r\n注意\r\n\r\n本文的所有操作都会在命令行和 SMIT 上进行，在后面不做特别的指出，请使用具有相应权限的用户进行操作。\r\n\r\n\r\n 系统需求 \r\n                 请按照以下要求配置硬件及系统环境，具体信息请参考 IBM 官方网站及资料。\r\n                 硬件需求 \r\n                IBM HACMP 支持所有 IBM System p5 服务器。\r\nIBM System p 服务器  节点数量  网口数量  硬盘数量  任何型号  至少 2 个节点  每节点至少两个网口（为确保硬件冗余，建议每节点使用四个以上网口） 每个节点最少需要一块非 rootvg 磁盘                                 \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 软件需求 \r\n                \r\nAIX 5L VersionRSCT VersionGLVM VersionHACMP VersionAIX 5L Version 5.3 最新 TL 版本 2.4.0.25.4.0V5.4 for AIX ( 含 XD 功能 )，需更新到最新补丁版本                             \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 安装前的准备工作 \r\n                 本安装手册所提及的 Server1 和 Server2 分别表示安装 HACMP 的两台 p5 服务器。安装 HACMP 前需完成以下工作。\r\n                                 硬件配置 \r\n                 安装配置过程中使用两台 IBM System p 55A 服务器，重要硬件配置信息如下：\r\n                 硬件配置\r\n 硬件平台  网络配置  操作系统  应用软件 55A \r\nhdisk0 10GB（rootvg） \r\nhdisk1 8GB接口 1 192.168.100.101/24\r\n接口 2 10.0.100.101/24\r\n接口 3 10.0.101.101/24\r\n接口 4 10.0.102.101/24AIX 5.3 ML5HACMP V5.4 for AIX ( 含 XD 功能 )55A \r\nhdisk0 10GB（rootvg） \r\nhdisk1 8GB接口 1 192.168.100.102/24\r\n接口 2 10.0.100.102/24\r\n接口 3 10.0.101.102/24\r\n接口 4 10.0.102.102/24AIX 5.3 ML5HACMP V5.4 for AIX ( 含 XD 功能 )                                \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 定义集群网络 \r\n                HACMP 集群配置过程中需要用到多种 IP 地址，这些 IP 最好都在不同网段。在 HACMP/XD GLVM 的配置中，需要使用两种网络类型：XD_data 与 XD_ip，前者用于 GLVM 磁盘的数据同步，后者用于监控 GLVM 磁盘心跳。\r\n下面是本文中采用的 IP 分配，仅供参考：\r\n 节点  网络类型 /IP 类别 IP 地址 IP 标签  网络接口 Server1ether192.168.100.101/16Server1en0Server1XD_data10.0.100.101/24xd_data_11en1Server1XD_data10.0.101.101/24xd_data_12en2Server1XD_ip10.0.102.101/24xd_ip1en3Server1Service ip10.0.103.1/24serviceipen0Server1Persistent ip10.0.104.1/24persistentip1en1Server2ether192.168.100.102/16Server2en0Server2XD_data10.0.100.102/24xd_data_21en1Server2XD_data10.0.101.102/24xd_data_22en2Server2XD_ip10.0.102.102/24xd_ip2en3Server2Service ip10.0.103.1/24serviceipen0Server2Persistent ip10.0.104.2/24persistentip2en1                                 以上例子中有 IP 标签的 IP 地址都需在两个节点上加入 /etc/hosts 文件。以下是 Server1 上 /etc/hosts 文件的配置样例，Server2 上配置与此类似：\r\n

# Internet Address Hostname # Comments\r\n# 192.9.200.1 net0sample # ethernet name/address\r\n# 128.100.0.1 token0sample # token ring name/address\r\n# 10.2.0.2 x25sample # x.25 name/address\r\n127.0.0.1 loopback localhost # loopback (lo0) name/address\r\n192.168.100.101        Server1\r\n10.0.100.101                xd_data_11\r\n10.0.101.101                xd_data_12\r\n10.0.102.101                xd_ip1\r\n10.0.103.1                serviceip\r\n10.0.104.1                persistentip1\r\n192.168.100.102        Server2\r\n10.0.100.102                xd_data_21\r\n10.0.101.102                xd_data_22\r\n10.0.102.102                xd_ip2\r\n10.0.104.2                persistentip2\r\n

\r\n为保证主机名解析正确无误，修改 AIX 解析顺序：

# echo “hosts = local, bind” > /etc/netsvc.conf\r\n

\r\n                                \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 安装 HACMP 软件及相应的补丁 \r\n                 请先安装 HACMP V5.4 for AIX 软件包：\r\nHACMP FilesetDescriptioncluster.esHACMP/ES Basic softwarecluster.es.cfsHACMP/ES Cluster File System SupportCluster.es.cspocHACMP/ES CSPOCCluster.es.pluginsHACMP/ES plug-in softwareCluster.licenseHACMP Electronic Licensecluster.man.en_US.esHACMP/ES english man pages然后安装相应 HACMP/XD 软件包：HACMP FilesetDescriptionglvm.rpv.utilGeographic LVM Utilitiesglvm.rpv.clientRemote Physical Volume Clientglvm.rpv.serverRemote Physical Volume Serverglvm.rpv.msg.en_USRPV messages—U.S. Englishcluster.xd.glvmHACMP/XD for GLVM RPV Supportcluster.xd.licenseHACMP/XD Feature License Agreement具体安装要求请参考 IBM 官方文档。安装细节此处不再祥述。                \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 配置 GLVM 磁盘 \r\n                 在集群中每个节点配置好 RPV（Remote Physical Volume） Client-Server 对，配置流程如下：\r\n                                    \r\nGLVM 配置过程 \r\n                                    \r\n                \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 在 Server2 上配置 RPV 站点 \r\n                 通过以下路径进入添加 RPV 站点界面，然后输入站点名称。\r\nsmit rpvserver->Remote Physical Volume Server Site NameConfiguration->Define / Change / Show Remote Physical Volume ServerSite Name \r\n设置站点名称为 Site2\r\n                                    \r\n 添加 RPV 站点 \r\n                                    \r\n                \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 在 Server2 上配置 RPV Server\r\n                 通过以下路径进入配置 RPV Server 界面，然后输入 RPV Server 名称。\r\nsmit rpvserver->Add Remote Physical Volume Servers\r\n选择 hdisk1，将其加入 rpvserver, 然后输入 RPV Client 的 IP 地址，此处填入前面定义的 xd_dada_11 与 xd_data_12。\r\n注意：\r\n不要将 RPV Server 设置为随系统自动启动，因为 GLVM 磁盘要由 HACMP 来控制。\r\n                                    \r\n 添加 RPV Server\r\n                                    \r\n                \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 在 Server1 上配置 RPV Client\r\n                 通过以下路径进入配置 RPV Client 界面，然后输入 Server2 上 RPV Server 的 IP 地址。\r\nsmit rpvclient->Add Remote Physical Volume Clients\r\n填入 Server2 上定义的 xd_data_21 或 xd_data_22 的 IP 地址，在以下界面中选择 hdisk1，然后添加 RPV Client，并设置相应参数：\r\n                \r\n                                    \r\n 添加 RPV Client\r\n                                    \r\n                 成功后，会提示 Server1 上 hdisk2 Available。在 Server1 和 Server2 上执行 lspv 命令，输出显示 Server2 上的 hdisk1 与 Server1 上的 hdisk2 具有相同的 PVID。\r\n接下来，还需要在 Server1 上修改 RPV Client 的相应属性。\r\nsmit rpvclient->Change / Show a Remote Physical Volume Client\r\n为 RPV Client 增加同步网络，最多可配置四个同步网络。\r\n                                    \r\n                                    \r\n                \r\n 在 Server1 上配置 RPV 站点 \r\n                 参考步骤 “在 Server2 上将 RPV 站点设置为 Site1”                \r\n                \r\n 在 Server1 上配置 RPVServer\r\n                 参考步骤 “在 Server2 上将 RPV 站点设置为 RPVServer”                \r\n                \r\n 在 Server2 上配置 RPV Client\r\n                 参考步骤 “在 Server1 上将 RPV 站点设置为 RPV Client”                \r\n                \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 在 Server1 对 hdisk1 创建卷组 glvmvg\r\n                 通过以下路径进入配置界面，\r\nsmit mkvg->Add an Original Volume Group \r\n定义 vg 名字为 glvgmvg，对应的硬盘为 hdisk1，major number 为 344，然后修改 glvmvg 属性\r\n                                    \r\n 添加并修改 glvmvg 属性 \r\n                                    \r\n                 注意 :\r\n将 activate volume group AUTOMATCALLY 设置为 no\r\n将 A QUORUM of disks required to keep the volume group on-line ? 设置为 no\r\n                \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 在 Server1 上对 glvmvg 创建逻辑卷 \r\n                 通过以下路径进入配置界面，\r\nsmit lvm->Logical Volumes->Add a Logical Volume\r\n                \r\n                                    \r\n 在 glvmvg 上创建文件系统 \r\n                                    \r\n                 注意：\r\n将 Allocate each logical partition copy on a SEPARATE physical volume? 设置为 superstrict。\r\n为 glvmlv 创建文件系统，挂载点设为 /u01\r\n                \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 在 Server1 上将远程 PV(hdisk2) 加入 glvmvg\r\n                 通过以下路径进入配置界面，\r\nsmit glvm_utils->Geographically Mirrored Volume Groups->Add Remote Physical Volumes to a Volume Group\r\n选择 glvmvg，再选择 RPV 站点 Site2，然后选择 hdisk2，将 hdisk2 加入 glvmvg，\r\n                                    \r\n 将 RPV 磁盘加入 glvmvg\r\n                                    \r\n                \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 在 Server1 上将卷组 glvmvg 中的两个磁盘设为镜像 \r\n                 通过以下路径进入配置界面，\r\nsmit glvm_utils->Geographically Mirrored Volume Groups->Add a Remote Site Mirror Copy to a Volume Group\r\n选择 glvmvg，接着选择 Site2，然后选择 hdisk2，然后将 hdisk2 加入 glvmvg\r\n                                    \r\n 将 RPV 磁盘与本地磁盘设置为镜像 \r\n                                    \r\n                 注意：\r\n将 Keep Quorum Checking On? 设置为 no。\r\n这样，在 Server1 上，本地磁盘 hdisk1 与远程磁盘 hdisk2 就已经配置成为了镜像关系。\r\n                \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 在 Server1 与 Server2 上将 GLVM 磁盘组设置为 defined 状态 \r\n                GLVM 磁盘配置好后，需要将相应的卷组和 rpvserver 设备设置为 defined 状态，因为在接下来的配置中要将 GLVM 磁盘集成到 HACMP 中，通过 HACMP 来监控和控制磁盘的状态与切换。\r\n在两个节点上，分别执行以下命令将卷组与设备设置为 defined。\r\n

Server1:\r\n# varyoffvg glvmvg\r\n# rmdev –l rpvserver0\r\n# rmdev –l hdisk2\r\nServer2:\r\n#rmdev –l rpvserver0\r\n#rmdev –l hdisk2\r\n

\r\n                                \r\n

\r\n

\r\n \r\n 回页首

\r\n\r\n 建立应用启动和停止脚本 \r\n                 本配置案例中，使用 Oracle 10g for AIX 作为测试应用，需要分别在两个节点在创建应用启动和停止脚本。两个节点的脚本的路径必须一致。\r\n

# touch /usr/local/ora_start /usr/local/ora_stop\r\n# chmod 755 /usr/local/ora_start /usr/local/ora_stop\r\n

\r\nOracle 10g 的安装与配置请参考 Oracle 官方资料，过程从略。\r\n脚本内容请根据实际情况确定，此处不描述其内容。