盘阵突然无法访问,请大家帮忙!!!在线等待,急...

walg2004

两台P595 +AIX5.3-05+HA5.3+oracle10G R2
今天上午突然报错
A6DF45AA   0828144508 I O RMCdaemon      The daemon is started.
BC3BE5A3   0828144508 P S SRC            SOFTWARE PROGRAM ERROR
F3931284   0828144408 I H ent2           ETHERNET NETWORK RECOVERY MODE
EC0BCCD4   0828144408 T H ent2           ETHERNET DOWN
2BFA76F6   0828143708 T S SYSPROC        SYSTEM SHUTDOWN BY USER
9DBCFDEE   0828144408 T O errdemon       ERROR LOGGING TURNED ON
192AC071   0828143308 T O errdemon       ERROR LOGGING TURNED OFF
B8113DD1   0828143208 T H fcs4           LINK ERROR
B8113DD1   0828142508 T H fcs2           LINK ERROR
A6DF45AA   0828134308 I O RMCdaemon      The daemon is started.
F3931284   0828134208 I H ent2           ETHERNET NETWORK RECOVERY MODE
EC0BCCD4   0828134208 T H ent2           ETHERNET DOWN
2BFA76F6   0828133708 T S SYSPROC        SYSTEM SHUTDOWN BY USER
9DBCFDEE   0828134208 T O errdemon       ERROR LOGGING TURNED ON
192AC071   0828133308 T O errdemon       ERROR LOGGING TURNED OFF
AA8AB241   0828133308 T O OPERATOR       OPERATOR NOTIFICATION
BC3BE5A3   0828133308 P S SRC            SOFTWARE PROGRAM ERROR
825849BF   0828115408 T H fcs4           ADAPTER ERROR
3074FEB7   0828115408 T H fscsi4         ADAPTER ERROR
825849BF   0828115408 T H fcs2           ADAPTER ERROR
3074FEB7   0828115308 T H fscsi2         ADAPTER ERROR
825849BF   0828115308 T H fcs4           ADAPTER ERROR
3074FEB7   0828115308 T H fscsi4         ADAPTER ERROR
825849BF   0828115308 T H fcs2           ADAPTER ERROR
3074FEB7   0828115308 T H fscsi2         ADAPTER ERROR
825849BF   0828113608 T H fcs4           ADAPTER ERROR
3074FEB7   0828113608 T H fscsi4         ADAPTER ERROR
825849BF   0828113608 T H fcs4           ADAPTER ERROR
825849BF   0828113608 T H fcs2           ADAPTER ERROR
3074FEB7   0828113508 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113508 T H fscsi4         ADAPTER ERROR
825849BF   0828113508 T H fcs4           ADAPTER ERROR
825849BF   0828113508 T H fcs2           ADAPTER ERROR
3074FEB7   0828113508 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113508 T H fscsi4         ADAPTER ERROR
825849BF   0828113508 T H fcs4           ADAPTER ERROR
825849BF   0828113508 T H fcs2           ADAPTER ERROR
3074FEB7   0828113508 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113508 T H fscsi4         ADAPTER ERROR
825849BF   0828113508 T H fcs4           ADAPTER ERROR
825849BF   0828113508 T H fcs2           ADAPTER ERROR
3074FEB7   0828113508 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113508 T H fscsi4         ADAPTER ERROR
825849BF   0828113508 T H fcs4           ADAPTER ERROR
825849BF   0828113508 T H fcs2           ADAPTER ERROR
3074FEB7   0828113408 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113408 T H fscsi4         ADAPTER ERROR
825849BF   0828113408 T H fcs2           ADAPTER ERROR
3074FEB7   0828113408 T H fscsi2         ADAPTER ERROR
825849BF   0828113408 T H fcs4           ADAPTER ERROR
3074FEB7   0828113408 T H fscsi4         ADAPTER ERROR
825849BF   0828113408 T H fcs4           ADAPTER ERROR
825849BF   0828113408 T H fcs2           ADAPTER ERROR
3074FEB7   0828113308 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113308 T H fscsi4         ADAPTER ERROR
825849BF   0828113308 T H fcs4           ADAPTER ERROR
825849BF   0828113308 T H fcs2           ADAPTER ERROR
3074FEB7   0828113308 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113308 T H fscsi4         ADAPTER ERROR
825849BF   0828113308 T H fcs4           ADAPTER ERROR
825849BF   0828113308 T H fcs2           ADAPTER ERROR
3074FEB7   0828113308 T H fscsi4         ADAPTER ERROR
3074FEB7   0828113308 T H fscsi2         ADAPTER ERROR
825849BF   0828113308 T H fcs4           ADAPTER ERROR
825849BF   0828113308 T H fcs2           ADAPTER ERROR
3074FEB7   0828113208 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113208 T H fscsi4         ADAPTER ERROR
825849BF   0828113208 T H fcs4           ADAPTER ERROR
825849BF   0828113208 T H fcs2           ADAPTER ERROR
3074FEB7   0828113208 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113208 T H fscsi4         ADAPTER ERROR
825849BF   0828113208 T H fcs2           ADAPTER ERROR
3074FEB7   0828113208 T H fscsi2         ADAPTER ERROR
825849BF   0828113008 T H fcs4           ADAPTER ERROR
3074FEB7   0828113008 T H fscsi4         ADAPTER ERROR
825849BF   0828113008 T H fcs2           ADAPTER ERROR
3074FEB7   0828113008 T H fscsi2         ADAPTER ERROR
825849BF   0828113008 T H fcs4           ADAPTER ERROR
3074FEB7   0828112908 T H fscsi4         ADAPTER ERROR
825849BF   0828112908 T H fcs2           ADAPTER ERROR
3074FEB7   0828112908 T H fscsi2         ADAPTER ERROR
825849BF   0828112908 T H fcs4           ADAPTER ERROR
3074FEB7   0828112908 T H fscsi4         ADAPTER ERROR
825849BF   0828112908 T H fcs2           ADAPTER ERROR
3074FEB7   0828112908 T H fscsi2         ADAPTER ERROR
825849BF   0828112808 T H fcs4           ADAPTER ERROR
3074FEB7   0828112808 T H fscsi4         ADAPTER ERROR
825849BF   0828112808 T H fcs2           ADAPTER ERROR
3074FEB7   0828112808 T H fscsi2         ADAPTER ERROR
825849BF   0828112808 T H fcs4           ADAPTER ERROR
3074FEB7   0828112808 T H fscsi4         ADAPTER ERROR
825849BF   0828112808 T H fcs2           ADAPTER ERROR
3074FEB7   0828112708 T H fscsi2         ADAPTER ERROR
825849BF   0828112708 T H fcs4           ADAPTER ERROR
3074FEB7   0828112708 T H fscsi4         ADAPTER ERROR
825849BF   0828112708 T H fcs2           ADAPTER ERROR
3074FEB7   0828112708 T H fscsi2         ADAPTER ERROR
825849BF   0828111808 T H fcs4           ADAPTER ERROR
3074FEB7   0828111808 T H fscsi4         ADAPTER ERROR
825849BF   0828111808 T H fcs2           ADAPTER ERROR
3074FEB7   0828111808 T H fscsi2         ADAPTER ERROR
825849BF   0828111808 T H fcs4           ADAPTER ERROR
3074FEB7   0828111808 T H fscsi4         ADAPTER ERROR
825849BF   0828111708 T H fcs2           ADAPTER ERROR
3074FEB7   0828111708 T H fscsi2         ADAPTER ERROR
825849BF   0828111708 T H fcs4           ADAPTER ERROR
3074FEB7   0828111708 T H fscsi4         ADAPTER ERROR
825849BF   0828111708 T H fcs2           ADAPTER ERROR
3074FEB7   0828111708 T H fscsi2         ADAPTER ERROR
825849BF   0828111708 T H fcs4           ADAPTER ERROR
3074FEB7   0828111608 T H fscsi4         ADAPTER ERROR
825849BF   0828111608 T H fcs2           ADAPTER ERROR
3074FEB7   0828111608 T H fscsi2         ADAPTER ERROR
825849BF   0828111608 T H fcs4           ADAPTER ERROR
3074FEB7   0828111608 T H fscsi4         ADAPTER ERROR
825849BF   0828111608 T H fcs2           ADAPTER ERROR
3074FEB7   0828111508 T H fscsi2         ADAPTER ERROR
825849BF   0828111508 T H fcs4           ADAPTER ERROR
3074FEB7   0828111508 T H fscsi4         ADAPTER ERROR
825849BF   0828111508 T H fcs2           ADAPTER ERROR
3074FEB7   0828111508 T H fscsi2         ADAPTER ERROR
6D19271E   0828111308 I O topsvcs        Topology Services daemon stopped
28854E81   0828111308 I O grpsvcs        Group Services daemon stopped
99FA80C7   0828111308 U S haemd          SOFTWARE
AA8AB241   0828111308 T O OPERATOR       OPERATOR NOTIFICATION
BC3BE5A3   0828111308 P S SRC            SOFTWARE PROGRAM ERROR
AFA89905   0828105608 I O grpsvcs        Group Services daemon started
97419D60   0828105508 I O topsvcs        Topology Services daemon started
AA8AB241   0828105408 T O OPERATOR       OPERATOR NOTIFICATION
BC3BE5A3   0828105408 P S SRC            SOFTWARE PROGRAM ERROR
A6DF45AA   0828104908 I O RMCdaemon      The daemon is started.
7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR
7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR
7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR
7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR
7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR
7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR
7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR
F3931284   0828104708 I H ent2           ETHERNET NETWORK RECOVERY MODE
EC0BCCD4   0828104708 T H ent2           ETHERNET DOWN
2BFA76F6   0828104208 T S SYSPROC        SYSTEM SHUTDOWN BY USER
9DBCFDEE   0828104808 T O errdemon       ERROR LOGGING TURNED ON
192AC071   0828103308 T O errdemon       ERROR LOGGING TURNED OFF
6D19271E   0828103308 I O topsvcs        Topology Services daemon stopped
28854E81   0828103308 I O grpsvcs        Group Services daemon stopped
99FA80C7   0828103308 U S haemd          SOFTWARE
AA8AB241   0828103208 T O OPERATOR       OPERATOR NOTIFICATION
BC3BE5A3   0828103208 P S SRC            SOFTWARE PROGRAM ERROR
825849BF   0828103008 T H fcs4           ADAPTER ERROR
3074FEB7   0828103008 T H fscsi4         ADAPTER ERROR
825849BF   0828103008 T H fcs2           ADAPTER ERROR
3074FEB7   0828103008 T H fscsi2         ADAPTER ERROR
825849BF   0828103008 T H fcs4           ADAPTER ERROR
3074FEB7   0828103008 T H fscsi4         ADAPTER ERROR
825849BF   0828102908 T H fcs2           ADAPTER ERROR
3074FEB7   0828102908 T H fscsi2         ADAPTER ERROR
825849BF   0828102908 T H fcs4           ADAPTER ERROR
3074FEB7   0828102908 T H fscsi4         ADAPTER ERROR
825849BF   0828102908 T H fcs2           ADAPTER ERROR
3074FEB7   0828102908 T H fscsi2         ADAPTER ERROR
825849BF   0828102908 T H fcs4           ADAPTER ERROR
3074FEB7   0828102808 T H fscsi4         ADAPTER ERROR
825849BF   0828102808 T H fcs2           ADAPTER ERROR
3074FEB7   0828102808 T H fscsi2         ADAPTER ERROR
825849BF   0828102808 T H fcs4           ADAPTER ERROR
3074FEB7   0828102808 T H fscsi4         ADAPTER ERROR
825849BF   0828102808 T H fcs2           ADAPTER ERROR
3074FEB7   0828102708 T H fscsi2         ADAPTER ERROR
825849BF   0828102708 T H fcs4           ADAPTER ERROR
3074FEB7   0828102708 T H fscsi4         ADAPTER ERROR
825849BF   0828102708 T H fcs2           ADAPTER ERROR
3074FEB7   0828102708 T H fscsi2         ADAPTER ERROR
AFA89905   0828102308 I O grpsvcs        Group Services daemon started
97419D60   0828102308 I O topsvcs        Topology Services daemon started
A63BEB70   0828102108 P S SYSPROC        SOFTWARE PROGRAM ABNORMALLY TERMINATED
A63BEB70   0828102108 P S SYSPROC        SOFTWARE PROGRAM ABNORMALLY TERMINATED
6D19271E   0828102008 I O topsvcs        Topology Services daemon stopped
99FA80C7   0828102008 U S haemd          SOFTWARE
AA8AB241   0828102008 T O OPERATOR       OPERATOR NOTIFICATION
BC3BE5A3   0828102008 P S SRC            SOFTWARE PROGRAM ERROR
E86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100908 P H hdisk2         DISK OPERATION ERROR
E86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100908 P H hdisk2         DISK OPERATION ERROR
E86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100908 P H hdisk2         DISK OPERATION ERROR
E86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100908 P H hdisk2         DISK OPERATION ERROR
A63BEB70   0828100908 P S SYSPROC        SOFTWARE PROGRAM ABNORMALLY TERMINATED
E86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100908 P H hdisk2         DISK OPERATION ERROR
E86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100908 P H hdisk2         DISK OPERATION ERROR
E86653C3   0828100808 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100808 P H hdisk2         DISK OPERATION ERROR
E86653C3   0828100808 P H LVDD           I/O ERROR DETECTED BY LVM
E86653C3   0828100808 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100808 P H hdisk2         DISK OPERATION ERROR
E86653C3   0828100808 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100808 P H hdisk2         DISK OPERATION ERROR
B6267342   0828100808 P H hdisk2         DISK OPERATION ERROR
E86653C3   0828100808 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100808 P H hdisk2         DISK OPERATION ERROR

我检查了光纤与光纤交换机的链路没发现问题,现在的机器问题是我以前的hdisk2本来属于datavg  但现在我用命令
db1# lspv
hdisk0          00cbdaaf1b4d740f                    rootvg          active
hdisk1          00cbdaaf1b4da02c                    rootvg          active
hdisk2          00cbdacfeb915c86                    None            
hdisk3          00cbdaafe1e1cdea                    None            
hdisk4          00cbdacfeb80f3af                    datavg4         active
查看后,发现datavg 丢失了, hdisk2上没有任何信息,两台小机现在全是这个样子,这是什么原因呀?
db1# errpt -aj E86653C3 |more
---------------------------------------------------------------------------
LABEL:          LVM_IO_FAIL
IDENTIFIER:     E86653C3

Date/Time:       Thu Aug 28 10:09:53 BEIST 2008
Sequence Number: 2646
Machine Id:      00CBDAAF4C00
Node Id:         db1
Class:           H
Type:            PERM
Resource Name:   LVDD            
Resource Class:  NONE
Resource Type:   NONE
Location:        

Description
I/O ERROR DETECTED BY LVM

Probable Causes
POWER, DRIVE, ADAPTER, OR CABLE FAILURE

        Recommended Actions
        RUN DIAGNOSTICS AGAINST THE FAILING DEVICE

Detail Data
PHYSICAL VOLUME DEVICE MAJOR/MINOR
8000 0029 0000 0002
ERROR CODE AS DEFINED IN sys/errno.h
          16
BLOCK NUMBER
             337782072
LOGICAL VOLUME DEVICE MAJOR/MINOR
8000 002A 0000 0001
PHYSICAL BUFFER TRANSACTION TIME
                     0
RESIDUAL COUNT
                  4096
NUMBER OF BLOCKS
                  4096
I/O TYPE
USER DATA     
SENSE DATA
0000 0000 000A 1112 00CB DAAF 0000 4C00 0000 0116 296F 73E1 00CB DACF EB91 5C86
0000 0000 0000 0000


db1# errpt -aj B6267342 |more
---------------------------------------------------------------------------
LABEL:          SC_DISK_ERR2
IDENTIFIER:     B6267342

Date/Time:       Thu Aug 28 10:09:53 BEIST 2008
Sequence Number: 2645
Machine Id:      00CBDAAF4C00
Node Id:         db1
Class:           H
Type:            PERM
Resource Name:   hdisk2         
Resource Class:  disk
Resource Type:   Hitachi
Location:        U5791.001.99B03B1-P2-C02-T1-W50060E8010232452-L0
VPD:            
        Manufacturer................HITACHI
        Machine Type and Model......DF600F         
        Part Number.................
        ROS Level and ID............30303030
        Serial Number...............75012869
        EC Level....................
        FRU Number..................
        Device Specific.(Z0)........00000332B3001102
        Device Specific.(Z1)........0000
        Device Specific.(Z2)........

        Device Specific.(Z3)........

yoyosys

LZ去检查一下光纤卡

walg2004

原帖由 yoyosys 于 2008-8-28 15:58 发表
LZ去检查一下光纤卡

我已经检查过了,并且分组进行了测试,均未发现问题,而且我的拓扑是全冗余的,具体的拓扑为,每台小机两块光纤卡,分别连接到两台光纤光纤机上,两台光纤交换机再连接到磁盘阵列上,我测试后应该排除了光纤卡和光纤的问题.
而且
db1# lspv
hdisk0          00cbdaaf1b4d740f                    rootvg          active
hdisk1          00cbdaaf1b4da02c                    rootvg          active
hdisk2          00cbdacfeb915c86                    None            
hdisk3          00cbdaafe1e1cdea                    None            
hdisk4          00cbdacfeb80f3af                    datavg4         active

hdisk4 也是磁盘阵列的硬盘,现在对它访问是正常的,就是hdisk2 上的datavg信息找不到了,
db1# lsdev -Cc disk
hdisk0 Available 05-08-00-8,0 16 Bit LVD SCSI Disk Drive
hdisk1 Available 05-08-00-9,0 16 Bit LVD SCSI Disk Drive
hdisk2 Available 0A-08-02     Hitachi Disk Array (Fibre)
hdisk3 Available 0A-08-02     Hitachi Disk Array (Fibre)
hdisk4 Available 0A-08-02     Hitachi Disk Array (Fibre)

[ 本帖最后由 walg2004 于 2008-8-28 16:04 编辑 ]

myciciy

网线断过 光纤卡 似乎有问题
Hdisk2硬盘呢

chalylau

阵列上的磁盘有没有亮黄灯。

walg2004

原帖由 myciciy 于 2008-8-28 16:11 发表
网线断过 光纤卡 似乎有问题
Hdisk2硬盘呢

硬盘有呀,卡的报错是下午我在进行 rmdev的时候产生的,可以不计
db1# lsdev -Cc disk
hdisk0 Available 05-08-00-8,0 16 Bit LVD SCSI Disk Drive
hdisk1 Available 05-08-00-9,0 16 Bit LVD SCSI Disk Drive
hdisk2 Available 0A-08-02     Hitachi Disk Array (Fibre)
hdisk3 Available 0A-08-02     Hitachi Disk Array (Fibre)
hdisk4 Available 0A-08-02     Hitachi Disk Array (Fibre)
这里可以看到hdisk2硬盘呀


我对HDS的盘阵也看过了,没有发现亮黄灯或是报错

sky.xuxm

从时间上看，感觉是硬盘的问题
LABEL:          SC_DISK_ERR2
IDENTIFIER:     B6267342

Date/Time:       Thu Aug 28 10:09:53 BEIST 2008
Sequence Number: 2645
Machine Id:      00CBDAAF4C00
Node Id:         db1
Class:           H
Type:            PERM
Resource Name:   hdisk2         
Resource Class:  disk
Resource Type:   Hitachi
Location:        U5791.001.99B03B1-P2-C02-T1-W50060E8010232452-L0
VPD:            
        Manufacturer................HITACHI
        Machine Type and Model......DF600F         
        Part Number.................
        ROS Level and ID............30303030
        Serial Number...............75012869
        EC Level....................
        FRU Number..................
        Device Specific.(Z0)........00000332B3001102
        Device Specific.(Z1)........0000
        Device Specific.(Z2)........

        Device Specific.(Z3)........

sky.xuxm

还有一种可能，hds的多路经管理软件出了问题，当光纤链路断开后再恢复，hds不会自动恢复，请检查一下，用hds的命令，大概是
dlnkmgr view -drv
dlnkmgr view -path
看看path上有没有offline的情况

chalylau

lsvg看看 datavg还有不？