微码引起的宕机！

宇风

环境：
两台IBM M85主机，7133-D40阵列，ORACLE 9I RAC+HACMP 4。5，系统版本为：AIX 5109。


现场记录：
备机宕机，面板显示：4B2725B4，Service Guide相关信息：Processor system and 6xx bus processor runtime diagnostics detected 2W 750 MHz processor。

磁盘阵列做了两个环路，前后各4个盘做一个环路，观察磁盘阵列状态，面板黄灯，前后中间位置的硬盘绿灯闪烁，表明磁盘阵列处于开环状态。

主机面板正常，系统仍可登陆，errpt日志如下：
IDENTIFIER TIMESTAMP  T C RESOURCE_NAME  DESCRIPTION
2F3E09A4   0603225806 I H ssa0           REPAIR ACTION
0619C49F   0603222806 U U topsvcs        Contact with a neighboring adapter lost
AFA89905   0603222606 I O grpsvcs        Group Services daemon started
97419D60   0603222606 I O topsvcs        Topology Services daemon started
C092AFE4   0603222506 I O ctcasd         ctcasd Daemon Started
A6DF45AA   0603222506 I O RMCdaemon      The daemon is started.
E85C5C4C   0603222406 P S   CFGLFT       SOFTWARE PROGRAM ERROR
2BFA76F6   0603221706 T S SYSPROC        SYSTEM SHUTDOWN BY USER
9DBCFDEE   0603222506 T O errdemon       ERROR LOGGING TURNED ON
192AC071   0603221606 T O errdemon       ERROR LOGGING TURNED OFF
625E6B9A   0603221406 P H ssa0           ADAPTER DETECTED OPEN SERIAL LINK
FE9E9357   0603221306 P H ssa0           DISK OPERATION ERROR
FE9E9357   0603221306 P H ssa0           DISK OPERATION ERROR
FE9E9357   0603221306 P H ssa0           DISK OPERATION ERROR
FE9E9357   0603221306 P H ssa0           DISK OPERATION ERROR
FE9E9357   0603221306 P H ssa0           DISK OPERATION ERROR
625E6B9A   0603220006 P H ssa0           ADAPTER DETECTED OPEN SERIAL LINK
625E6B9A   0603210006 P H ssa0           ADAPTER DETECTED OPEN SERIAL LINK
3DB7729E   0603210006 P H ssa0           ADAPTER PERFORMANCE DEGRADED
613E5F38   0603202806 P H LVDD           I/O ERROR DETECTED BY LVM
613E5F38   0603202806 P H LVDD           I/O ERROR DETECTED BY LVM
613E5F38   0603202806 P H LVDD           I/O ERROR DETECTED BY LVM
613E5F38   0603202806 P H LVDD           I/O ERROR DETECTED BY LVM
613E5F38   0603202806 P H LVDD           I/O ERROR DETECTED BY LVM
613E5F38   0603202806 P H LVDD           I/O ERROR DETECTED BY LVM
3DB7729E   0603202706 P H ssa0           ADAPTER PERFORMANCE DEGRADED
3DB7729E   0603202706 P H ssa0           ADAPTER PERFORMANCE DEGRADED
173C787F   0603202606 I S topsvcs        Possible malfunction on local adapter
0619C49F   0603202606 U U topsvcs        Contact with a neighboring adapter lost
0619C49F   0603202606 U U topsvcs        Contact with a neighboring adapter lost
173C787F   0603202606 I S topsvcs        Possible malfunction on local adapter


由上面的日志分析，此时磁盘阵列已经处于瘫痪状态，所有VG已经不可用。
重启两主机后，恢复正常。
重启后，B机有相关微码报错信息
IDENTIFIER TIMESTAMP  T C RESOURCE_NAME  DESCRIPTION
AFA89905   0603222506 I O grpsvcs        Group Services daemon started
97419D60   0603222506 I O topsvcs        Topology Services daemon started
C092AFE4   0603222506 I O ctcasd         ctcasd Daemon Started
A6DF45AA   0603222506 I O RMCdaemon      The daemon is started.
CF8CADB6   0603222406 P H sysplanar0     SYSTEM FAILURE WITH SCAN DATA
BFE4C025   0603222306 P H sysplanar0     UNDETERMINED ERROR
1F0B7B49   0529175606 P S SYSPROC        SOFTWARE PROGRAM ABNORMALLY TERMINATED
9DBCFDEE   0603222406 T O errdemon       ERROR LOGGING TURNED ON
M85当前的微码版本：
MM030829
最后升级了主机微码，打了HA的最新补丁。





本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u/4506/showart_126849.html