EMC CX替换IBM DS6800之后HACMP的故障处理方法及思考

cnzwg2007

EMC CX替换IBM DS6800之后HACMP的故障思考

背景说明
去年客户要求对IBM DS6800扩容，由于这款存储买得很少，不好找到配件升级，客户把DS6800换成EMC CX3-40
更换存储实施的是以前的同事（再已离职），当时是在线更换的存储，没有停止HA和应用，也就没有对HA进行测试


过年前，客户有时间对应用测试，把两台570重启，起来之后HA无发开启。刚好碰到我值班（倒霉的事情总是在我身上），于是远程过去发现故障处理很麻烦，就将客户的应用临时手工拉起来

过年之后，我在公司的测试机里模拟了和客户一样的环境，只是没有DS6800存储，其它的都和客户一样，并不存在客户的这咱情况


系统说明：
主机： 两台570
老存储：IBM DS6800
新存储：EMC CX3-40
AIX系统：5300-60-03-0732
HACMP版本：HACMP5.2-SP9
多路径版本：EMC.CLARiiON.fcp.MPIO.rte  5.3.0.5 + IBM SDD 5.3



最终解决方法为：
安装EMC PowerPath多路径软件，在HACMP里定制磁盘模式和定制HACMP的切换events，用这种方法来解决在HA启动和切换时扫描磁盘的SCSI ID和LUN ID消耗的大量等待时间，而导致的HA超时后HA不继续往下走。
因为MPIO是IBM自己的多路径软件标准，是不需要在HA里做其它的配置的。我们在其它的地方配置过很多MPIO方式的HACMP，在公司也搭建过和客户一样的环境，都没有碰到过MPIO方式的需要在HACMP里定制磁盘模式和定制HACMP的切换events。



故障处理时间：
客户给出了10个小时，从晚上9：00至早上7：00，7：00之间必须把应用开启来给物流系统使用
由于直到晚上10点钟才开如停止应用，所以给我们的处理时间不到9个小时



处理流程为：
1：升级HACMP的到最新版本SP10，HA还是无法开启，故障依旧

2：删除DS6800磁盘，删除DS6800的多路径软件，关闭DS6800存储，之后再同步HA配置。
重启机器后再开启HA，在扫描磁盘的SCSI ID和LUN ID等待了约15分钟以后HA服务启动起来，ORACLE和中间件服务也都开启，但做HA切换测试失败
注：这时已经成功了3分之一，至少HA能开启来，应用也能用HA拉起来，之前连HA都开不启来

3：删除再重新安装EMC的MPIO多路径软件，同步HA配置。故障还是和第2步一样，HA能正常开启，但在扫描磁盘的SCSI ID和LUN ID等待了约15分钟以上超时而无法完成HA的切换。

4：删除HACMP的软件，再重新安装，完全重新配置HA。故障还是和第2步一样，HA能正常开启，但在扫描磁盘的SCSI ID和LUN ID等待了约15分钟以上超时而无法完成HA的切换。

5：删除EMC的MPIO软件，用AIX系统自带的多路径软件认出MPIO的盘，同步HA配置。故障还是和第2步一样，HA能正常开启，但在扫描磁盘的SCSI ID和LUN ID等待了约15分钟以上超时而无法完成HA的切换。

6：安装EMC的PowerPath多路径软件，在里定制磁盘模式，同步HA配置。故障还是和第2步一样，HA能正常开启，但在扫描磁盘的SCSI ID和LUN ID等待了约15分钟以上超时而无法完成HA的切换。

7：在第6步的基础上在HA里添加切换events，同步HA配置。开启HA，这次扫描磁盘的SCSI ID和LUN ID只用了几秒钟（这次终于看到了希望），HA很快就能把应用拉起来。

8：在第7步的基本上，将资源组B移至A正常，但将A移至B时ORACLE无法关闭，HA又是一直HANG在那里。

9：在第8步的基本上，将A节点重启，A节点关闭之后B节点很快能把应用接管过来。（心里终于松了口气，证明HA是正常的，问题是出在ORACLE上）

10：在A 节点上手工执行HA的开启脚本，ORACLE也正常打开，手工执行HA的关闭脚本，ORACLE一直HANG在那里无法关闭。进入sqlplus ，执行shutdown immediate命令能将ORACLE关闭。
    回去检查ORACLE关闭脚本并没有错识，猜想可能是环境变量的问题，在HA的关闭脚本里加上source /home/oracle/.profile命令，在脚本里再获取一次ORACLE的环境变量，再次执行ORACLE的关闭脚本，ORACLE能正常关闭

11：在第10步的基本上，A移至B时很快出现ERROR，HA切换失败，查找原因是ORACLE的监听程序无法关闭。切换至ORACLE用户执行lsnrctl stop命令，无法关闭监听程序，报监听程序设置了密码。再重新开启ORACLE，发现ORACLE服务无法注册至监听，在sqlplus里手工注册监听也不行，应用也无法连接至数据库。

12：电话联系ORACLE工程师，是ORACLE工程师按客户的要求在A节点的监听配置了密码，从而导致监听程序无法关闭，再重启数据库服务也无法注册到监听。询问客户意见，客户同意去掉监听程序密码。修改ORACLE的listener.ora文件，注释掉监听程序的密码

13：在第12步的基本上，A移至B时，成功OK

至此，已经快接近早上6点，终于赶在客户要求的7点之前把故障处理好

http://bbs.loveunix.net/viewthread.php?tid=138659

hello_unix

好经验，支持

mike79

cnzwg2007 发表于 2012-03-10 16:49
但在扫描磁盘的SCSI ID和LUN ID等待了约15分钟以上超时而无法完成HA的切换

我觉得HACMP的软件版本偏低了些，HACMP5.2不知道是否能很好的支持MPIO+CX的PCM。另外因为没看到错误日志，不太好判断，但是像这类磁盘错误，基本上都是在执行cl_disk_available脚本时候发生的。cl_disk_available脚本主要执行三个操作：
1，检测和删除ghost disk
2，检测和破除disk reservation
3，使磁盘available
我觉得错误是发生在2上，以前遇到过一个case，现象有相通之处。如果采用的是ecvg的话，应该就没这个问题了。其实用EMC的powerpath，然后设置disktype和event之类的，也就是实现了上面说的三个操作所要求的接口。

我以前遇到一个case，Oracle9iRAC+HACMP5.2，发现cl_disk_available脚本往磁盘上加SCSI锁，而ecvg是不加SCSI锁的。后来发现是升级了powerpath软件，导致event事件的执行脚本名称改了，在检查disk reservation时候失败，产生了一些奇怪的错误。

AIX深入敌后

经验的分享 顶一个

三寿人

回复 4# AIX深入敌后


    好经验分享，支持

yddll

都是没按规矩做的后果，按照规矩来，要不了2小时就搞定了

cnzwg2007

)大家多多交流