盘阵突然无法访问,请大家帮忙!!!在线等待,急...

walg2004

两台P595 +AIX5.3-05+HA5.3+oracle10G R2\r\n今天上午突然报错\r\nA6DF45AA   0828144508 I O RMCdaemon      The daemon is started.\r\nBC3BE5A3   0828144508 P S SRC            SOFTWARE PROGRAM ERROR\r\nF3931284   0828144408 I H ent2           ETHERNET NETWORK RECOVERY MODE\r\nEC0BCCD4   0828144408 T H ent2           ETHERNET DOWN\r\n2BFA76F6   0828143708 T S SYSPROC        SYSTEM SHUTDOWN BY USER\r\n9DBCFDEE   0828144408 T O errdemon       ERROR LOGGING TURNED ON\r\n192AC071   0828143308 T O errdemon       ERROR LOGGING TURNED OFF\r\nB8113DD1   0828143208 T H fcs4           LINK ERROR\r\nB8113DD1   0828142508 T H fcs2           LINK ERROR\r\nA6DF45AA   0828134308 I O RMCdaemon      The daemon is started.\r\nF3931284   0828134208 I H ent2           ETHERNET NETWORK RECOVERY MODE\r\nEC0BCCD4   0828134208 T H ent2           ETHERNET DOWN\r\n2BFA76F6   0828133708 T S SYSPROC        SYSTEM SHUTDOWN BY USER\r\n9DBCFDEE   0828134208 T O errdemon       ERROR LOGGING TURNED ON\r\n192AC071   0828133308 T O errdemon       ERROR LOGGING TURNED OFF\r\nAA8AB241   0828133308 T O OPERATOR       OPERATOR NOTIFICATION\r\nBC3BE5A3   0828133308 P S SRC            SOFTWARE PROGRAM ERROR\r\n825849BF   0828115408 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828115408 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828115408 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828115308 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828115308 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828115308 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828115308 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828115308 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828113608 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828113608 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828113608 T H fcs4           ADAPTER ERROR\r\n825849BF   0828113608 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828113508 T H fscsi2         ADAPTER ERROR\r\n3074FEB7   0828113508 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828113508 T H fcs4           ADAPTER ERROR\r\n825849BF   0828113508 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828113508 T H fscsi2         ADAPTER ERROR\r\n3074FEB7   0828113508 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828113508 T H fcs4           ADAPTER ERROR\r\n825849BF   0828113508 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828113508 T H fscsi2         ADAPTER ERROR\r\n3074FEB7   0828113508 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828113508 T H fcs4           ADAPTER ERROR\r\n825849BF   0828113508 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828113508 T H fscsi2         ADAPTER ERROR\r\n3074FEB7   0828113508 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828113508 T H fcs4           ADAPTER ERROR\r\n825849BF   0828113508 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828113408 T H fscsi2         ADAPTER ERROR\r\n3074FEB7   0828113408 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828113408 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828113408 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828113408 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828113408 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828113408 T H fcs4           ADAPTER ERROR\r\n825849BF   0828113408 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828113308 T H fscsi2         ADAPTER ERROR\r\n3074FEB7   0828113308 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828113308 T H fcs4           ADAPTER ERROR\r\n825849BF   0828113308 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828113308 T H fscsi2         ADAPTER ERROR\r\n3074FEB7   0828113308 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828113308 T H fcs4           ADAPTER ERROR\r\n825849BF   0828113308 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828113308 T H fscsi4         ADAPTER ERROR\r\n3074FEB7   0828113308 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828113308 T H fcs4           ADAPTER ERROR\r\n825849BF   0828113308 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828113208 T H fscsi2         ADAPTER ERROR\r\n3074FEB7   0828113208 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828113208 T H fcs4           ADAPTER ERROR\r\n825849BF   0828113208 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828113208 T H fscsi2         ADAPTER ERROR\r\n3074FEB7   0828113208 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828113208 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828113208 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828113008 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828113008 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828113008 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828113008 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828113008 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828112908 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828112908 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828112908 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828112908 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828112908 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828112908 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828112908 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828112808 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828112808 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828112808 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828112808 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828112808 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828112808 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828112808 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828112708 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828112708 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828112708 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828112708 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828112708 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828111808 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828111808 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828111808 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828111808 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828111808 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828111808 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828111708 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828111708 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828111708 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828111708 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828111708 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828111708 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828111708 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828111608 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828111608 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828111608 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828111608 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828111608 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828111608 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828111508 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828111508 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828111508 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828111508 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828111508 T H fscsi2         ADAPTER ERROR\r\n6D19271E   0828111308 I O topsvcs        Topology Services daemon stopped\r\n28854E81   0828111308 I O grpsvcs        Group Services daemon stopped\r\n99FA80C7   0828111308 U S haemd          SOFTWARE\r\nAA8AB241   0828111308 T O OPERATOR       OPERATOR NOTIFICATION\r\nBC3BE5A3   0828111308 P S SRC            SOFTWARE PROGRAM ERROR\r\nAFA89905   0828105608 I O grpsvcs        Group Services daemon started\r\n97419D60   0828105508 I O topsvcs        Topology Services daemon started\r\nAA8AB241   0828105408 T O OPERATOR       OPERATOR NOTIFICATION\r\nBC3BE5A3   0828105408 P S SRC            SOFTWARE PROGRAM ERROR\r\nA6DF45AA   0828104908 I O RMCdaemon      The daemon is started.\r\n7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR\r\n7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR\r\n7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR\r\n7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR\r\n7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR\r\n7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR\r\n7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR\r\nF3931284   0828104708 I H ent2           ETHERNET NETWORK RECOVERY MODE\r\nEC0BCCD4   0828104708 T H ent2           ETHERNET DOWN\r\n2BFA76F6   0828104208 T S SYSPROC        SYSTEM SHUTDOWN BY USER\r\n9DBCFDEE   0828104808 T O errdemon       ERROR LOGGING TURNED ON\r\n192AC071   0828103308 T O errdemon       ERROR LOGGING TURNED OFF\r\n6D19271E   0828103308 I O topsvcs        Topology Services daemon stopped\r\n28854E81   0828103308 I O grpsvcs        Group Services daemon stopped\r\n99FA80C7   0828103308 U S haemd          SOFTWARE\r\nAA8AB241   0828103208 T O OPERATOR       OPERATOR NOTIFICATION\r\nBC3BE5A3   0828103208 P S SRC            SOFTWARE PROGRAM ERROR\r\n825849BF   0828103008 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828103008 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828103008 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828103008 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828103008 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828103008 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828102908 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828102908 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828102908 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828102908 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828102908 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828102908 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828102908 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828102808 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828102808 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828102808 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828102808 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828102808 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828102808 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828102708 T H fscsi2         ADAPTER ERROR\r\n825849BF   0828102708 T H fcs4           ADAPTER ERROR\r\n3074FEB7   0828102708 T H fscsi4         ADAPTER ERROR\r\n825849BF   0828102708 T H fcs2           ADAPTER ERROR\r\n3074FEB7   0828102708 T H fscsi2         ADAPTER ERROR\r\nAFA89905   0828102308 I O grpsvcs        Group Services daemon started\r\n97419D60   0828102308 I O topsvcs        Topology Services daemon started\r\nA63BEB70   0828102108 P S SYSPROC        SOFTWARE PROGRAM ABNORMALLY TERMINATED\r\nA63BEB70   0828102108 P S SYSPROC        SOFTWARE PROGRAM ABNORMALLY TERMINATED\r\n6D19271E   0828102008 I O topsvcs        Topology Services daemon stopped\r\n99FA80C7   0828102008 U S haemd          SOFTWARE\r\nAA8AB241   0828102008 T O OPERATOR       OPERATOR NOTIFICATION\r\nBC3BE5A3   0828102008 P S SRC            SOFTWARE PROGRAM ERROR\r\nE86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM\r\nB6267342   0828100908 P H hdisk2         DISK OPERATION ERROR\r\nE86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM\r\nB6267342   0828100908 P H hdisk2         DISK OPERATION ERROR\r\nE86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM\r\nB6267342   0828100908 P H hdisk2         DISK OPERATION ERROR\r\nE86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM\r\nB6267342   0828100908 P H hdisk2         DISK OPERATION ERROR\r\nA63BEB70   0828100908 P S SYSPROC        SOFTWARE PROGRAM ABNORMALLY TERMINATED\r\nE86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM\r\nB6267342   0828100908 P H hdisk2         DISK OPERATION ERROR\r\nE86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM\r\nB6267342   0828100908 P H hdisk2         DISK OPERATION ERROR\r\nE86653C3   0828100808 P H LVDD           I/O ERROR DETECTED BY LVM\r\nB6267342   0828100808 P H hdisk2         DISK OPERATION ERROR\r\nE86653C3   0828100808 P H LVDD           I/O ERROR DETECTED BY LVM\r\nE86653C3   0828100808 P H LVDD           I/O ERROR DETECTED BY LVM\r\nB6267342   0828100808 P H hdisk2         DISK OPERATION ERROR\r\nE86653C3   0828100808 P H LVDD           I/O ERROR DETECTED BY LVM\r\nB6267342   0828100808 P H hdisk2         DISK OPERATION ERROR\r\nB6267342   0828100808 P H hdisk2         DISK OPERATION ERROR\r\nE86653C3   0828100808 P H LVDD           I/O ERROR DETECTED BY LVM\r\nB6267342   0828100808 P H hdisk2         DISK OPERATION ERROR\r\n\r\n我检查了光纤与光纤交换机的链路没发现问题,现在的机器问题是我以前的hdisk2本来属于datavg  但现在我用命令\r\ndb1# lspv\r\nhdisk0          00cbdaaf1b4d740f                    rootvg          active\r\nhdisk1          00cbdaaf1b4da02c                    rootvg          active\r\nhdisk2          00cbdacfeb915c86                    None            \r\nhdisk3          00cbdaafe1e1cdea                    None            \r\nhdisk4          00cbdacfeb80f3af                    datavg4         active\r\n查看后,发现datavg 丢失了, hdisk2上没有任何信息,两台小机现在全是这个样子,这是什么原因呀?\r\ndb1# errpt -aj E86653C3 |more\r\n---------------------------------------------------------------------------\r\nLABEL:          LVM_IO_FAIL\r\nIDENTIFIER:     E86653C3\r\n\r\nDate/Time:       Thu Aug 28 10:09:53 BEIST 2008\r\nSequence Number: 2646\r\nMachine Id:      00CBDAAF4C00\r\nNode Id:         db1\r\nClass:           H\r\nType:            PERM\r\nResource Name:   LVDD            \r\nResource Class:  NONE\r\nResource Type:   NONE\r\nLocation:        \r\n\r\nDescription\r\nI/O ERROR DETECTED BY LVM\r\n\r\nProbable Causes\r\nPOWER, DRIVE, ADAPTER, OR CABLE FAILURE\r\n\r\n        Recommended Actions\r\n        RUN DIAGNOSTICS AGAINST THE FAILING DEVICE\r\n\r\nDetail Data\r\nPHYSICAL VOLUME DEVICE MAJOR/MINOR\r\n8000 0029 0000 0002 \r\nERROR CODE AS DEFINED IN sys/errno.h\r\n          16\r\nBLOCK NUMBER\r\n             337782072\r\nLOGICAL VOLUME DEVICE MAJOR/MINOR\r\n8000 002A 0000 0001 \r\nPHYSICAL BUFFER TRANSACTION TIME\r\n                     0\r\nRESIDUAL COUNT\r\n                  4096\r\nNUMBER OF BLOCKS\r\n                  4096\r\nI/O TYPE\r\nUSER DATA     \r\nSENSE DATA\r\n0000 0000 000A 1112 00CB DAAF 0000 4C00 0000 0116 296F 73E1 00CB DACF EB91 5C86 \r\n0000 0000 0000 0000 \r\n\r\n\r\ndb1# errpt -aj B6267342 |more\r\n---------------------------------------------------------------------------\r\nLABEL:          SC_DISK_ERR2\r\nIDENTIFIER:     B6267342\r\n\r\nDate/Time:       Thu Aug 28 10:09:53 BEIST 2008\r\nSequence Number: 2645\r\nMachine Id:      00CBDAAF4C00\r\nNode Id:         db1\r\nClass:           H\r\nType:            PERM\r\nResource Name:   hdisk2          \r\nResource Class:  disk\r\nResource Type:   Hitachi\r\nLocation:        U5791.001.99B03B1-P2-C02-T1-W50060E8010232452-L0\r\nVPD:             \r\n        Manufacturer................HITACHI \r\n        Machine Type and Model......DF600F          \r\n        Part Number.................\r\n        ROS Level and ID............30303030\r\n        Serial Number...............75012869\r\n        EC Level....................\r\n        FRU Number..................\r\n        Device Specific.(Z0)........00000332B3001102\r\n        Device Specific.(Z1)........0000\r\n        Device Specific.(Z2)........\r\n\r\n        Device Specific.(Z3)........

myciciy

网线断过 光纤卡 似乎有问题\r\nHdisk2硬盘呢

chalylau

阵列上的磁盘有没有亮黄灯。

sky.xuxm

从时间上看，感觉是硬盘的问题\r\nLABEL:          SC_DISK_ERR2\r\nIDENTIFIER:     B6267342\r\n\r\nDate/Time:       Thu Aug 28 10:09:53 BEIST 2008\r\nSequence Number: 2645\r\nMachine Id:      00CBDAAF4C00\r\nNode Id:         db1\r\nClass:           H\r\nType:            PERM\r\nResource Name:   hdisk2          \r\nResource Class:  disk\r\nResource Type:   Hitachi\r\nLocation:        U5791.001.99B03B1-P2-C02-T1-W50060E8010232452-L0\r\nVPD:             \r\n        Manufacturer................HITACHI \r\n        Machine Type and Model......DF600F          \r\n        Part Number.................\r\n        ROS Level and ID............30303030\r\n        Serial Number...............75012869\r\n        EC Level....................\r\n        FRU Number..................\r\n        Device Specific.(Z0)........00000332B3001102\r\n        Device Specific.(Z1)........0000\r\n        Device Specific.(Z2)........\r\n\r\n        Device Specific.(Z3)........

sky.xuxm

还有一种可能，hds的多路经管理软件出了问题，当光纤链路断开后再恢复，hds不会自动恢复，请检查一下，用hds的命令，大概是\r\ndlnkmgr view -drv\r\ndlnkmgr view -path\r\n看看path上有没有offline的情况

chalylau

lsvg看看 datavg还有不？

sky.xuxm

db1# errpt -aj B6267342 |more\r\n---------------------------------------------------------------------------\r\nLABEL:          SC_DISK_ERR2\r\nIDENTIFIER:     B6267342\r\n\r\nDate/Time:       Thu Aug 28 10:09:53 BEIST 2008\r\nSequence Number: 2645\r\nMachine Id:      00CBDAAF4C00\r\nNode Id:         db1\r\nClass:           H\r\nType:            PERM\r\nResource Name:   hdisk2          \r\nResource Class:  disk\r\nResource Type:   Hitachi\r\n........\r\nFailure Causes\r\nDISK DRIVE\r\nDISK DRIVE ELECTRONICS\r\n\r\n        Recommended Actions\r\n        PERFORM PROBLEM DETERMINATION PROCEDURES\r\n\r\nDetail Data\r\nPATH ID\r\n           3\r\nSENSE DATA\r\n0A00 2A00 1422 2538 0000 0804 0000 0000 0000 0000 0000 0000 0118 0000 \r\n\r\n查一下path 3路径看看，是不是offline了\r\nhds偶尔会有这种情况，短时中断后不会自动恢复，但是两台主机同时无法访问却是没道理\r\n\r\n\r\n到目录/usr/DynamicLinkManager/bin下，执行dlnkmgr  view -path\r\n重点看一下path id 3的情况\n\n[ 本帖最后由 sky.xuxm 于 2008-8-28 16:58 编辑 ]

sky.xuxm

如果存在offline的path，请执行dlnkmgr online,然后按y\r\n顺便贴一下常用命令\r\ndlnkmgr view –drv                   查看每个dlmfdrv设备所对应的hdisk\r\ndlnkmgr view –lu                查看每个hdisk的状态，是否处于online\r\ndlnkmgr view –sys                查看HDLM负载均衡管理的配置参数\r\ndlnkmgr view –path                查看hds磁盘的路径\r\ndlmrmdev                        删除所有的HDS逻辑设备,包括dlmfdrv?(对应存储上的一个lun)和dlmadrv设备