IBM红皮书翻译之一：HACMP V5.1 for AIX （5.1） 更新的

gaoxintian

第五章           实现之后与管理
本章提供在正常群集操作中安装后和管理的相关信息。
在正在运行的群集上维护群集配置和应用改变需要严格的过程和改变手段；否则，群集会不均衡或者不象设计的在失效时那样起作用。
系统管理员和应用管理员每次对工作中的群集进行期待结果的维护时都必须协同工作。
5.1. 使用C-SPOC
本节描述HACMP系统管理器使用群集单点控制（C-SPOC）的优点。
在我们的测试实验中（参考Figure 5-1），群集配置包括：

Ø        3个节点（IBM pSeries 630-6C4，机架式）
Ø        客户网络两个10/100网络交换机，层叠方式的高可用
Ø        用作高速互联的一个千兆以太网交换机
Ø        一个光纤通路交换机：2109-F32
Ø        一个FAStT 900存储子系统：1742-9RU，带一个EXP 700磁盘柜和1TB的裸存储。
为使群集管理操作容易，HACMP提供了一个在多群集节点执行命令的方法并维护执行的操作的同等性。
有些群集维护操作可能影响HACMP配置（拓扑和资源），但是通过HACMP管理工具（C-SPOC），这些任务（像添加或删除资源、用户和改变拓扑结构）可以在不终止关键应用的情况下执行。
注意：C-SPOC使用新的群集通讯进程（clcomdES）来在远程节点执行命令。如果这个进程没有运行或者他不能鉴别初始节点的需求，命令就不能够在远程节点执行，C-SPOC操作会失败。
C-SPOC考虑事项
C-SPOC工具简单化了在群集节点（最多32个）共享的LVM组件的维护。C-SPOC命令提供了在单一节点上和AIX标准环境下命令同样的功能。通过自动重复任务，C-SPOC消除了潜在的错误来源并提高了进程速度。
没有C-SPOC功能，系统管理员需要在每个节点上花很多时间执行管理任务。例如，给群集中某些（或全部）节点添加一个用户，你必须在每个节点上执行这个任务。
使用C-SPOC工具，在一个节点上（发起改变的节点）执行的命令同样在其它群集节点上被执行。C-SPOC最小化了上层管理，减少了可能的节点状态的不一致。例如，当使用C-SPOC添加一个用户，用户被添加到所有指定的节点。
注意：C-SPOC命令位于/usr/es/sbin/cluster/cspoc目录。
C-SPOC通过自己的群集管理功能命令集、到达SMIT菜单和面板和命令行提供这些功能。我们不建议您使用命令行接口，除非你确认你要干什么。要使用C-SPOC，在HACMP SMIT菜单选择Cluster System Management选项。
5.1.1.    C-SPOC概览
通过使用C-SPOC，你可以执行以下任务：
Ø        启动和停止群集服务
Ø        通讯接口管理
Ø        资源组和应用管理
Ø        安全和用户管理
Ø        逻辑卷管理
Ø        并发逻辑卷管理
Ø        物理卷管理
Ø        GPFS文件系统配置（可选）
Ø        在一个节点上打开SMIT会话
启动和停止群集服务
你可以在相同的节点上执行启动和停止单个群集节点（或者多个节点）服务，假定到远程节点的IP通讯路径（HACMP中定义的）是可用的。
可以以三种方法停止群集服务：
Ø        优美的
Ø        带接管的优美的
Ø        强制的
限制：
Ø        你不能在同一时间在多个节点上停止群集服务。
Ø        如果群集包含一个有并发资源的资源组，不管是哪种类型的并发资源（传统的或者增强的），你并非必须使用强制选项停止节点。这可能造成数据不匹配。
通讯接口管理
使用这个特性，你可以在群集中所有节点上改变通讯接口设置。这点当你需要向节点添加或从节点删除接口、包括更换（热交换）现存通讯接口时特别有用。
你可以不停止群集服务来回执行这些任务，假定你在HACMP中定义了足够多的通讯接口（来避免影响到资源，使之离线）。
资源组和应用管理
在资源组和应用撒谎能够可以执行的操作有：
Ø        使资源组在线
Ø        使资源组离线
Ø        在不同的节点间移动资源组
Ø        挂起和继续应用监视（如果配置有的话）
安全和用户管理
在HACMP V5.1中，实现了通过群集通讯后台进程和提供的工具（像cl_rsh、cl_rexec等等）进行HACMP有关操作的远程命令执行。只有群集命令（/usr/es/sbin/cluster目录下包含的）以root用户运行，其它的都以nobody运行。
群集通讯进程提供它自己的认证，基于在HACMP配置（基于主机认证）中定义的通讯接口的IP地址。
作为备用，认证也可以通过Kerboros服务器（假定你已经在环境中设置并可用）来执行。
你可以将clcomdES的认证从标准改为增强（Kerberos）。
对用户管理，你可以在群集所有节点或者指定节点或者资源组上添加、删除、或者改变用户和组。
你还可以在群集所有节点或者指定节点或者属于指定资源组的节点上改变用户密码。
限制：在HACMP V5.1，只有root用户可以使用C-SPOC改变其它用户的密码；同样，HACMP不能阻止用户在一个节点上改变它自己的密码。
逻辑卷管理
使用这个特性，你可以添加或改变卷组、逻辑卷和文件系统，但是你不能删除一个先前创建的LVM对象。对此操作，你不得不确认卷组不是任何资源组的一部分，然后你才可以手动从所有节点定义中导出卷组。
重要的：你对群集定义卷组后，你就可以运行HACMP配置自动发现和将先前创建的卷组添加到资源组。
如果你不添加VG到RG，即使该VG已经被指定节点导入，你仍然不能使用C-SPOC对该VG创建LV或者FS。
并发逻辑卷管理
并非逻辑卷管理和逻辑卷管理类似，唯一区别在于你可以创建并发VG。注意，在AIX 5L V5.2下，你不能创建传统的并发卷组（即使使用32位内核）；只能创建并发卷组。
不管是哪种类型的并发卷组（传统的或并发的），你必须运行发现并将新的VG包括在一个资源组中以便将来使用（LV的创建）。
物理卷管理
使用这个选项，你可以对节点进行添加、删除物理卷动作。它帮助你在所有节点上维护相同的磁盘配置。因为在每个群集节点上hdisk号码不同（由于内部磁盘配置引起的），HACMP不能使用hdsik号码进行C-SPOC操作，而是使用PVID。当向群集添加磁盘时，HACMP确保磁盘PVID的唯一性。
GPFS文件系统配置（可选）
这个选项只有在安装了cluster.es.cfs包后才可用，它和GPFS包联合可以用来配置一个GPFS群集（像HACMP一样）。更多信息请参考GA22-7974：“GPFS要点、规划与安装”。
在一个节点上打开SMIT会话
这个功能提供对群集节点的远程系统管理和配置（不只是HACMP菜单），它要使用一个群集通讯后台进程。
C-SPOC和和它有关的资源组
C-SPOC命令改变LVM组件时需要资源组参数。LVM部件是命令的目标，它在被改变以前必须在资源最终被配置。C-SPOC使用资源组信息来决定期望操作在那些节点上执行。
5.1.2.    C-SPOC在HACMP V5.1下的增强
在HACMP V5.1中，C-SPOC提高了操作的速度和可靠性和其它一些增强特性。主要增强的特性有：
Ø        性能
以前，用户很少（或很难）使用C-SPOC，因为使用命令行甚至比它快。C-SPOC通过使用群集通讯架构（clcomdES）来提高性能。
Ø        增强并发模式（ECM）支持
AIX 5L V5.1以后，可以通过C-SPOC创建增强型并发卷组。
Ø        VPATH设备管理支持（在HACMP V4.5 PTF5下同样支持）
Ø        新名称System Management (C-SPOC)已经被添加到SMIT面板中
Ø        HACMP软件版本确认
引入一个更快的方法取代了早期版本在每次确认时都要计算节点的方法，它只计算一次，数据会在初始化确认操作的节点上缓存1小时（提供更快的访问）。
Ø        更新了一些LVM脚本以使其更有效。
5.1.3.    配置改变：DARE
当你配置一个群集的时候，配置数据被保存到HACMP指定的ODM对象类中，它存储在默认配置目录（DCD）：/etc/es/objrepos
在群集运行的时候有些群集操作（拓扑和资源）是可能被执行的，这些操作就叫做DARE（Dynamic Automatic Reconfiguration Event）——动态自动重新配置事件。在HACMP V5.1以前，对群集拓扑和群集资源的改变很费时间，因为它需要在群集中运行多个DARE操作。在相同的操作中同时执行对资源和拓扑的动态改变是不可以的。HACMP V5.1允许通过一次动态重新配置操作对资源和拓扑进行改变。
限制：如果在群集中定义了站点，你就不能使用DARE执行对资源和拓扑的改变。这是因为在重新配置的时候远程站点会认为主站点失效，从而初始化接管动作。
DARE操作
动态重新配置需要对群集中所有节点的HACMP ODM类进行改变。
在先前的HACMP版本中，无论何时执行动态配置改变，对每一类的改变都会在群集内部产生多条到其他节点的远程连接。在当前的版本中，因为采用群集通讯架构（clcomdES），到远程节点的连接一直是打开的并被维护为活动，因此，远程操作更快。
在群集启动时，HACMP将自己的ODM类拷贝到一个名为活动配置目录（ACD）的目录中，当群集运行时，HACMP后台进程、脚本和使用工具参考存储在ACD中的ODM数据类。
如果你在运行群集管理器的本地节点上同步群集拓扑或者群集资源定义，这个动作就引发一个DARE事件。
在DARE事件中，在所有群集节点的默认配置目录（DCD）的ODM数据被在分段配置目录（Staging Configuration Directory）中初始化DARE事件过程的节点收集。远程节点的HACMP ODM类被收集到本地，然后使用事件戳进行校验和后将其发回远程节点。
执行配置改变后， ODM类被SCD中的内容更新并发回其来源节点。校验和用来避免在多个节点上执行校验、同步群集开始时数据被破坏：如果校验和正确，在目标节点的DCD目录的ODM类就会被更新（覆盖）。
最后一步，ACD中的ODM数据被新数据覆盖；HACMP后台进程被刷新以便新的配置成为活动配置（参考Figure 5-2）。

动态重新配置操作（对资源和拓扑的改变）按以下次序进行：
Ø        释放重新配置所影响的资源
Ø        重新配置拓扑
Ø        获取和重新取得重新配置操作影响到的资源
对群集定义进行改变以前，确认：
Ø        所有群集节点都已经安装了HACMP，且级别相同
Ø        所有节点都可用（启动并运行）而且可以互相通讯。即使在一个群集节点上没有运行群集服务，从其他群集服务活动的节点执行重新配置也是可能的。
注意：在DARE操作时，任何节点都不能被强制停机。这会影响资源组的可用性或者造成数据被破坏。
Ø        群集处于稳定状态；最近没有接收到错误事件或者config_too_long消息。
同步配置改变
当你改变群集拓扑或资源时，HACMP会更新DCD（/etc/es/objrepos）中存储的ODM数据。同步会将本地节点DCD中存储的ODM对象类拷贝到其他节点的DCD中。
当同步群集时，DARE事件被触发，HACMP开始校验群集拓扑和群集资源配置的正确性，即使有时候你只对其中之一作了改变。
因为改变拓扑可能会造成群集资源配置无效，作为代替，软件对两者都检查。
动态群集拓扑改变
注意：在HACMP V5.1下，DARE已经改进了对在一个操作中对资源和拓扑改变的支持。
在活动的群集中你可以对群集拓扑作以下改变：
Ø        添加或删除节点
Ø        添加或删除网络接口
Ø        更换网络接口卡（硬件替换）
Ø        改变网络模块调整参数
Ø        添加一个新网络
重要的：为避免资源不必要的处理，我们建议您在改变之前移去改变过程影响到的资源（使用命令clRGmove）.
当重新配置一个群集时，HACMP会释放资源组（如果它发现有必要），随后会重新获取它。
在不停止群集服务、使应用离线、或者重新启动节点的情况下，下列拓扑和RG操作不能动态执行：
Ø        拓扑改变
-          改变群集名称
-          改变群集ID
-          改变群集节点名称
-          改变通讯接口属性
-          将一个网络从通过别名的IPAT改变成通过替换的IPAT和对整个网络的改变。
-          改变网络模块的名称
-          添加一个网络接口模块
-          删除一个网络接口模块
-          其他需要完全重新配置RSCT域的改变（拓扑和组服务），因为群集管理依赖于RSCT域
Ø        资源改变
-          改变资源组名称
-          改变应用服务器名称
-          改变节点关系
如果因为意外群集事件导致动态重新配置失败，那么，分段配置目录（SCD）依然存在。这可以防止对群集做更进一步的改变。
如果同步过程中一个节点失效，那么，分段配置目录（SCD）不会在所有节点上被清除。
SCD的存在会阻止对群集作更进一步的改变。如果在同步配置结束时SCD没有被清除，这表示DARE操作没有完成；因而SCD扮演着进一步改变的锁。
在改变被群集管理器拷贝到每个节点的ACD之前，你可以观察到DCD被复制到了SCD。如果一个节点的HACMP启动时有一个SCD，它就会被拷贝到ACD，SCD被删除，新的ACD被使用。
在DARE的任何时间发生一个节点失效，在一些节点上会有“剩余的”SCD，这些SCD必须在HACMP在任何节点上重新启动以前被删除（否则你将要冒不同节点运行不同配置的风险，这会造成一个或多个节点崩溃）。
要恢复这种情况，你必须使用Release Locks Set By Dynamic Reconfiguration SMIT菜单。它会清除保留的SCD并允许进一步的群集同步。如果在任何节点上存在SCD，更进一步的同步都不会执行直到它被删除。
要清除DARE锁定，使用下列过程，从Example 5-1开始：

要释放DARE锁设置，如Example 5-2所示：

等待命令完全成功完成（如Example 5-3）。如果这个操作没有成功，可能需要支持干预，而不能执行进一步的过程。

要使用一步执行相同的操作，你还可以使用以下命令：
/usr/es/sbin/cluster/utilities/cldare -u
5.1.4.    管理用户和组
在HACMP中，C-SPOC允许你管理用户和组（创建和改变特征）。在HACMP中引入了一个新的选项：你还可以通过C-SPOC改变用户密码。
创建用户或组时，你既可以通过资源组选择节点，也可以指定一个或者全部节点。
注意：在HACMP V5.1中，只有root用户可以改变用户密码。
在使用HACMP改变用户密码以前，先检查以下前提条件：
Ø        所有节点必须安装HACMP V5.1
Ø        群集拓扑已经配置
Ø        用户帐号必须在列表中的每个节点上存在
Ø        用户帐号必须在本地节点上存在。（密码会在本地节点上被改变，即使该节点没有在选择的节点列表或资源组中）
Ø        AIX必须在所有节点上运行并且所有节点间可以通过clcomdES通讯。
可以通过HACMP C-SPOC菜单访问用户管理器或者使用SMIT快速路径：
# smitty cl_usergroup
如Example 5-4所示：

要改变用户密码，使用Example 5-5中的菜单：

你可以选择资源组（用户所属的节点集），指定用户名称，如Example 5-6所示：


注意：考虑以下选项：
Ø        通过资源组选择节点
如果置为空，默认选择群集中所有节点
Ø        用户首次登陆必须更改密码？
如果为true，用户下一次登录到每个节点上都会被要求更改密码。如果为false，用户不会收到改变密码的要求。默认是true。
输入用户名和密码，然后改变密码，如Example 5-7所示：

5.1.5.    使用C-SPOC LVM管理群集存储
在群集中改变LVM部件是最频繁发生的改变类型。使用C-SPOC可以执行如下操作：
Ø        对共享卷组
-          允许快速磁盘接管
-          创建一个共享卷组
-          扩展一个共享卷组
-          导入一个共享卷组
-          缩小一个共享卷组
-          对卷组作一份拷贝
-          删除卷组的一份拷贝
-          镜像卷组
-          打破卷组镜像
-          同步卷组镜像
Ø        对共享逻辑卷
-          添加或删除一个逻辑卷
-          改变一个逻辑卷（重命名、扩展、添加或删除一份拷贝）
注意：关于对逻辑卷增加或减少拷贝（镜像）份数：这个任务不适用于RAID设备。
Ø        对共享文件系统
-          创建一个共享文件系统
-          改变一个共享文件系统
-          删除一个共享文件系统
Ø        对共享物理卷
-          向群集节点添加一个磁盘定义
-          从群集节点删除一个磁盘定义
-          更换一个群集磁盘
-          管理数据路径设备
小提示：在共享的LVM部件上执行这些维护任务时，确保VG导出后再重新导入时所有者和权限都能返回原来的值。
经过导出再导入后，VG的所有者是root，权限是system组。一些应用程序（向一些数据库服务器）使用裸逻辑卷，它会受裸逻辑卷的所有者变为root.system这个影响。你必须在此恢复所有者和权限到应用程序的需求。
在HACMP V5.1下，C-SPOC同样使用AIX 5L V5.1的CLVM能力来允许再不停止或重启群集时改变并发的LVM组件。
Ø        对共享的并发资源组
-          在选定的节点上创建一个并发卷组（使用hdisk或者数据路径设备）
-          转化SSA或RAID并发卷组到增强并发模式
-          列出群集中所有的并发卷组
-          导入一个并发卷组
-          扩展一个并发卷组
-          缩小一个并发卷组
-          镜像一个并发卷组
-          打破一个并发卷组镜像
-          同步通过卷组的并发LVM镜像
注意：要执行这些任务，卷组必须以并发模式varyon
在HACMP中支持并发SSA和RAID卷组，也支持增强并发卷组；然而，并发SSA和RAID卷组只在32位内核下被支持。此外，在AIX 5L V5.2下不可能创建新的SSA和RAID并发卷组。我们推荐将所有存在的并发卷组迁移到增强型并发卷组。因为增强型并发卷组使用组服务通讯作为并发机制，只有存在RSCT群集且其在线（HACMP V5.1是增强的可扩展性，所以它使用RSCT拓扑和组服务）才能被varyon为并发模式。
下面讲如何使用C-SPOC在群集中创建并发资源组
创建并发资源组（SSA和RAID）
在使用C-SPOC在群集中创建并发卷组之前，请检查：
Ø        所有磁盘设备都被正确的连接到群集节点
Ø        在所节点上，所有磁盘设备都被正确的配置并列为可用
Ø        群集并发逻辑卷管理器已经安装
Ø        所有磁盘都是具有并发能力的卷组的一部分
Ø        你已经给SSA磁盘子系统赋予了一个非0的唯一节点号
要创建一个并发VG，使用smitty cl_convg快速路径如Example 5-8所示：

选择将要创建并发卷组的节点（如Example 5-9所示）。

选择你想使用的物理卷（Exampl 5-10）：

选择新的并发卷组名称（Example 5-11）：

等待命令成功执行（Example 5-12）

并发卷组创建之后，你可以校验/tmp/cspoc.log文件显示更多信息。你需要添加卷组到资源组；否则，你不能使用这个卷组创建并发逻辑卷（只能作为逻设备使用）。你还可以使用下列方法执行对LVM部件管理：
Ø        手动更新
Ø        懒惰更新
手动更新
你可以在HACMP控制之外执行改变群集LVM部件，在这种情况下，你必须确认以尽可能快的速度对群集节点作更新。推荐改变过程如下：
1.        停止拥有共享卷组的节点上的群集服务（有时停止应用就足够了）
2.        对LVM部件作改变
3.        卸载共享卷组上的所有文件系统
4.        varyoff共享卷组
5.        在其他节点上导出卷组定义（你也可以使用importvg -L命令而不导出卷组定义）。
6.        在其他节点上重新导入卷组以更新AIX ODM库，同时，如果使用了NFS，确保使用了相同的主设备号
7.        改变需要改变的卷组特征
8.        在这个节点上varyoff卷组
9.        启动对资源组具有最高优先级的节点（主节点）上的群集服务
懒惰更新
对于在AIX的HACMP控制之下的LVM部件，你不需要显式的导出、导入来停止最近的其他节点；取而代之的是AIX的HACMP可以在它激活的卷组发生切换时执行导出和导入。（在群集中，当卷组激活时它被HACMP控制）AIX的HACMP实现了一个名为懒惰更新的功能，通过它保持一份共享卷组的VGDA时间戳的拷贝。
当LVM部件被改变时AIX更新VGDA时间戳。当另外一个群集节点试图varyon卷组时，AIX的HACMP比较VGDA的时间戳，如果结果不同，HACMP将在激活卷组之前执行导出和导入操作；如果结果相同，HACMP正常激活卷组。
注意：对增强型并发卷组，HACMP不需要懒惰更新处理，而是保持资源组中所有节点对LVM信息的更新。


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u/6482/showart_99217.html