盘阵突然无法访问,请大家帮忙!!!在线等待,急...

walg2004

两台P595 +AIX5.3-05+HA5.3+oracle10G R2
今天上午突然报错
A6DF45AA   0828144508 I O RMCdaemon      The daemon is started.
BC3BE5A3   0828144508 P S SRC            SOFTWARE PROGRAM ERROR
F3931284   0828144408 I H ent2           ETHERNET NETWORK RECOVERY MODE
EC0BCCD4   0828144408 T H ent2           ETHERNET DOWN
2BFA76F6   0828143708 T S SYSPROC        SYSTEM SHUTDOWN BY USER
9DBCFDEE   0828144408 T O errdemon       ERROR LOGGING TURNED ON
192AC071   0828143308 T O errdemon       ERROR LOGGING TURNED OFF
B8113DD1   0828143208 T H fcs4           LINK ERROR
B8113DD1   0828142508 T H fcs2           LINK ERROR
A6DF45AA   0828134308 I O RMCdaemon      The daemon is started.
F3931284   0828134208 I H ent2           ETHERNET NETWORK RECOVERY MODE
EC0BCCD4   0828134208 T H ent2           ETHERNET DOWN
2BFA76F6   0828133708 T S SYSPROC        SYSTEM SHUTDOWN BY USER
9DBCFDEE   0828134208 T O errdemon       ERROR LOGGING TURNED ON
192AC071   0828133308 T O errdemon       ERROR LOGGING TURNED OFF
AA8AB241   0828133308 T O OPERATOR       OPERATOR NOTIFICATION
BC3BE5A3   0828133308 P S SRC            SOFTWARE PROGRAM ERROR
825849BF   0828115408 T H fcs4           ADAPTER ERROR
3074FEB7   0828115408 T H fscsi4         ADAPTER ERROR
825849BF   0828115408 T H fcs2           ADAPTER ERROR
3074FEB7   0828115308 T H fscsi2         ADAPTER ERROR
825849BF   0828115308 T H fcs4           ADAPTER ERROR
3074FEB7   0828115308 T H fscsi4         ADAPTER ERROR
825849BF   0828115308 T H fcs2           ADAPTER ERROR
3074FEB7   0828115308 T H fscsi2         ADAPTER ERROR
825849BF   0828113608 T H fcs4           ADAPTER ERROR
3074FEB7   0828113608 T H fscsi4         ADAPTER ERROR
825849BF   0828113608 T H fcs4           ADAPTER ERROR
825849BF   0828113608 T H fcs2           ADAPTER ERROR
3074FEB7   0828113508 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113508 T H fscsi4         ADAPTER ERROR
825849BF   0828113508 T H fcs4           ADAPTER ERROR
825849BF   0828113508 T H fcs2           ADAPTER ERROR
3074FEB7   0828113508 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113508 T H fscsi4         ADAPTER ERROR
825849BF   0828113508 T H fcs4           ADAPTER ERROR
825849BF   0828113508 T H fcs2           ADAPTER ERROR
3074FEB7   0828113508 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113508 T H fscsi4         ADAPTER ERROR
825849BF   0828113508 T H fcs4           ADAPTER ERROR
825849BF   0828113508 T H fcs2           ADAPTER ERROR
3074FEB7   0828113508 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113508 T H fscsi4         ADAPTER ERROR
825849BF   0828113508 T H fcs4           ADAPTER ERROR
825849BF   0828113508 T H fcs2           ADAPTER ERROR
3074FEB7   0828113408 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113408 T H fscsi4         ADAPTER ERROR
825849BF   0828113408 T H fcs2           ADAPTER ERROR
3074FEB7   0828113408 T H fscsi2         ADAPTER ERROR
825849BF   0828113408 T H fcs4           ADAPTER ERROR
3074FEB7   0828113408 T H fscsi4         ADAPTER ERROR
825849BF   0828113408 T H fcs4           ADAPTER ERROR
825849BF   0828113408 T H fcs2           ADAPTER ERROR
3074FEB7   0828113308 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113308 T H fscsi4         ADAPTER ERROR
825849BF   0828113308 T H fcs4           ADAPTER ERROR
825849BF   0828113308 T H fcs2           ADAPTER ERROR
3074FEB7   0828113308 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113308 T H fscsi4         ADAPTER ERROR
825849BF   0828113308 T H fcs4           ADAPTER ERROR
825849BF   0828113308 T H fcs2           ADAPTER ERROR
3074FEB7   0828113308 T H fscsi4         ADAPTER ERROR
3074FEB7   0828113308 T H fscsi2         ADAPTER ERROR
825849BF   0828113308 T H fcs4           ADAPTER ERROR
825849BF   0828113308 T H fcs2           ADAPTER ERROR
3074FEB7   0828113208 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113208 T H fscsi4         ADAPTER ERROR
825849BF   0828113208 T H fcs4           ADAPTER ERROR
825849BF   0828113208 T H fcs2           ADAPTER ERROR
3074FEB7   0828113208 T H fscsi2         ADAPTER ERROR
3074FEB7   0828113208 T H fscsi4         ADAPTER ERROR
825849BF   0828113208 T H fcs2           ADAPTER ERROR
3074FEB7   0828113208 T H fscsi2         ADAPTER ERROR
825849BF   0828113008 T H fcs4           ADAPTER ERROR
3074FEB7   0828113008 T H fscsi4         ADAPTER ERROR
825849BF   0828113008 T H fcs2           ADAPTER ERROR
3074FEB7   0828113008 T H fscsi2         ADAPTER ERROR
825849BF   0828113008 T H fcs4           ADAPTER ERROR
3074FEB7   0828112908 T H fscsi4         ADAPTER ERROR
825849BF   0828112908 T H fcs2           ADAPTER ERROR
3074FEB7   0828112908 T H fscsi2         ADAPTER ERROR
825849BF   0828112908 T H fcs4           ADAPTER ERROR
3074FEB7   0828112908 T H fscsi4         ADAPTER ERROR
825849BF   0828112908 T H fcs2           ADAPTER ERROR
3074FEB7   0828112908 T H fscsi2         ADAPTER ERROR
825849BF   0828112808 T H fcs4           ADAPTER ERROR
3074FEB7   0828112808 T H fscsi4         ADAPTER ERROR
825849BF   0828112808 T H fcs2           ADAPTER ERROR
3074FEB7   0828112808 T H fscsi2         ADAPTER ERROR
825849BF   0828112808 T H fcs4           ADAPTER ERROR
3074FEB7   0828112808 T H fscsi4         ADAPTER ERROR
825849BF   0828112808 T H fcs2           ADAPTER ERROR
3074FEB7   0828112708 T H fscsi2         ADAPTER ERROR
825849BF   0828112708 T H fcs4           ADAPTER ERROR
3074FEB7   0828112708 T H fscsi4         ADAPTER ERROR
825849BF   0828112708 T H fcs2           ADAPTER ERROR
3074FEB7   0828112708 T H fscsi2         ADAPTER ERROR
825849BF   0828111808 T H fcs4           ADAPTER ERROR
3074FEB7   0828111808 T H fscsi4         ADAPTER ERROR
825849BF   0828111808 T H fcs2           ADAPTER ERROR
3074FEB7   0828111808 T H fscsi2         ADAPTER ERROR
825849BF   0828111808 T H fcs4           ADAPTER ERROR
3074FEB7   0828111808 T H fscsi4         ADAPTER ERROR
825849BF   0828111708 T H fcs2           ADAPTER ERROR
3074FEB7   0828111708 T H fscsi2         ADAPTER ERROR
825849BF   0828111708 T H fcs4           ADAPTER ERROR
3074FEB7   0828111708 T H fscsi4         ADAPTER ERROR
825849BF   0828111708 T H fcs2           ADAPTER ERROR
3074FEB7   0828111708 T H fscsi2         ADAPTER ERROR
825849BF   0828111708 T H fcs4           ADAPTER ERROR
3074FEB7   0828111608 T H fscsi4         ADAPTER ERROR
825849BF   0828111608 T H fcs2           ADAPTER ERROR
3074FEB7   0828111608 T H fscsi2         ADAPTER ERROR
825849BF   0828111608 T H fcs4           ADAPTER ERROR
3074FEB7   0828111608 T H fscsi4         ADAPTER ERROR
825849BF   0828111608 T H fcs2           ADAPTER ERROR
3074FEB7   0828111508 T H fscsi2         ADAPTER ERROR
825849BF   0828111508 T H fcs4           ADAPTER ERROR
3074FEB7   0828111508 T H fscsi4         ADAPTER ERROR
825849BF   0828111508 T H fcs2           ADAPTER ERROR
3074FEB7   0828111508 T H fscsi2         ADAPTER ERROR
6D19271E   0828111308 I O topsvcs        Topology Services daemon stopped
28854E81   0828111308 I O grpsvcs        Group Services daemon stopped
99FA80C7   0828111308 U S haemd          SOFTWARE
AA8AB241   0828111308 T O OPERATOR       OPERATOR NOTIFICATION
BC3BE5A3   0828111308 P S SRC            SOFTWARE PROGRAM ERROR
AFA89905   0828105608 I O grpsvcs        Group Services daemon started
97419D60   0828105508 I O topsvcs        Topology Services daemon started
AA8AB241   0828105408 T O OPERATOR       OPERATOR NOTIFICATION
BC3BE5A3   0828105408 P S SRC            SOFTWARE PROGRAM ERROR
A6DF45AA   0828104908 I O RMCdaemon      The daemon is started.
7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR
7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR
7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR
7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR
7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR
7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR
7F88E76D   0828104808 P S console        SOFTWARE PROGRAM ERROR
F3931284   0828104708 I H ent2           ETHERNET NETWORK RECOVERY MODE
EC0BCCD4   0828104708 T H ent2           ETHERNET DOWN
2BFA76F6   0828104208 T S SYSPROC        SYSTEM SHUTDOWN BY USER
9DBCFDEE   0828104808 T O errdemon       ERROR LOGGING TURNED ON
192AC071   0828103308 T O errdemon       ERROR LOGGING TURNED OFF
6D19271E   0828103308 I O topsvcs        Topology Services daemon stopped
28854E81   0828103308 I O grpsvcs        Group Services daemon stopped
99FA80C7   0828103308 U S haemd          SOFTWARE
AA8AB241   0828103208 T O OPERATOR       OPERATOR NOTIFICATION
BC3BE5A3   0828103208 P S SRC            SOFTWARE PROGRAM ERROR
825849BF   0828103008 T H fcs4           ADAPTER ERROR
3074FEB7   0828103008 T H fscsi4         ADAPTER ERROR
825849BF   0828103008 T H fcs2           ADAPTER ERROR
3074FEB7   0828103008 T H fscsi2         ADAPTER ERROR
825849BF   0828103008 T H fcs4           ADAPTER ERROR
3074FEB7   0828103008 T H fscsi4         ADAPTER ERROR
825849BF   0828102908 T H fcs2           ADAPTER ERROR
3074FEB7   0828102908 T H fscsi2         ADAPTER ERROR
825849BF   0828102908 T H fcs4           ADAPTER ERROR
3074FEB7   0828102908 T H fscsi4         ADAPTER ERROR
825849BF   0828102908 T H fcs2           ADAPTER ERROR
3074FEB7   0828102908 T H fscsi2         ADAPTER ERROR
825849BF   0828102908 T H fcs4           ADAPTER ERROR
3074FEB7   0828102808 T H fscsi4         ADAPTER ERROR
825849BF   0828102808 T H fcs2           ADAPTER ERROR
3074FEB7   0828102808 T H fscsi2         ADAPTER ERROR
825849BF   0828102808 T H fcs4           ADAPTER ERROR
3074FEB7   0828102808 T H fscsi4         ADAPTER ERROR
825849BF   0828102808 T H fcs2           ADAPTER ERROR
3074FEB7   0828102708 T H fscsi2         ADAPTER ERROR
825849BF   0828102708 T H fcs4           ADAPTER ERROR
3074FEB7   0828102708 T H fscsi4         ADAPTER ERROR
825849BF   0828102708 T H fcs2           ADAPTER ERROR
3074FEB7   0828102708 T H fscsi2         ADAPTER ERROR
AFA89905   0828102308 I O grpsvcs        Group Services daemon started
97419D60   0828102308 I O topsvcs        Topology Services daemon started
A63BEB70   0828102108 P S SYSPROC        SOFTWARE PROGRAM ABNORMALLY TERMINATED
A63BEB70   0828102108 P S SYSPROC        SOFTWARE PROGRAM ABNORMALLY TERMINATED
6D19271E   0828102008 I O topsvcs        Topology Services daemon stopped
99FA80C7   0828102008 U S haemd          SOFTWARE
AA8AB241   0828102008 T O OPERATOR       OPERATOR NOTIFICATION
BC3BE5A3   0828102008 P S SRC            SOFTWARE PROGRAM ERROR
E86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100908 P H hdisk2         DISK OPERATION ERROR
E86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100908 P H hdisk2         DISK OPERATION ERROR
E86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100908 P H hdisk2         DISK OPERATION ERROR
E86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100908 P H hdisk2         DISK OPERATION ERROR
A63BEB70   0828100908 P S SYSPROC        SOFTWARE PROGRAM ABNORMALLY TERMINATED
E86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100908 P H hdisk2         DISK OPERATION ERROR
E86653C3   0828100908 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100908 P H hdisk2         DISK OPERATION ERROR
E86653C3   0828100808 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100808 P H hdisk2         DISK OPERATION ERROR
E86653C3   0828100808 P H LVDD           I/O ERROR DETECTED BY LVM
E86653C3   0828100808 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100808 P H hdisk2         DISK OPERATION ERROR
E86653C3   0828100808 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100808 P H hdisk2         DISK OPERATION ERROR
B6267342   0828100808 P H hdisk2         DISK OPERATION ERROR
E86653C3   0828100808 P H LVDD           I/O ERROR DETECTED BY LVM
B6267342   0828100808 P H hdisk2         DISK OPERATION ERROR

我检查了光纤与光纤交换机的链路没发现问题,现在的机器问题是我以前的hdisk2本来属于datavg  但现在我用命令
db1# lspv
hdisk0          00cbdaaf1b4d740f                    rootvg          active
hdisk1          00cbdaaf1b4da02c                    rootvg          active
hdisk2          00cbdacfeb915c86                    None            
hdisk3          00cbdaafe1e1cdea                    None            
hdisk4          00cbdacfeb80f3af                    datavg4         active
查看后,发现datavg 丢失了, hdisk2上没有任何信息,两台小机现在全是这个样子,这是什么原因呀?
db1# errpt -aj E86653C3 |more
---------------------------------------------------------------------------
LABEL:          LVM_IO_FAIL
IDENTIFIER:     E86653C3

Date/Time:       Thu Aug 28 10:09:53 BEIST 2008
Sequence Number: 2646
Machine Id:      00CBDAAF4C00
Node Id:         db1
Class:           H
Type:            PERM
Resource Name:   LVDD            
Resource Class:  NONE
Resource Type:   NONE
Location:        

Description
I/O ERROR DETECTED BY LVM

Probable Causes
POWER, DRIVE, ADAPTER, OR CABLE FAILURE

        Recommended Actions
        RUN DIAGNOSTICS AGAINST THE FAILING DEVICE

Detail Data
PHYSICAL VOLUME DEVICE MAJOR/MINOR
8000 0029 0000 0002
ERROR CODE AS DEFINED IN sys/errno.h
          16
BLOCK NUMBER
             337782072
LOGICAL VOLUME DEVICE MAJOR/MINOR
8000 002A 0000 0001
PHYSICAL BUFFER TRANSACTION TIME
                     0
RESIDUAL COUNT
                  4096
NUMBER OF BLOCKS
                  4096
I/O TYPE
USER DATA     
SENSE DATA
0000 0000 000A 1112 00CB DAAF 0000 4C00 0000 0116 296F 73E1 00CB DACF EB91 5C86
0000 0000 0000 0000


db1# errpt -aj B6267342 |more
---------------------------------------------------------------------------
LABEL:          SC_DISK_ERR2
IDENTIFIER:     B6267342

Date/Time:       Thu Aug 28 10:09:53 BEIST 2008
Sequence Number: 2645
Machine Id:      00CBDAAF4C00
Node Id:         db1
Class:           H
Type:            PERM
Resource Name:   hdisk2         
Resource Class:  disk
Resource Type:   Hitachi
Location:        U5791.001.99B03B1-P2-C02-T1-W50060E8010232452-L0
VPD:            
        Manufacturer................HITACHI
        Machine Type and Model......DF600F         
        Part Number.................
        ROS Level and ID............30303030
        Serial Number...............75012869
        EC Level....................
        FRU Number..................
        Device Specific.(Z0)........00000332B3001102
        Device Specific.(Z1)........0000
        Device Specific.(Z2)........

        Device Specific.(Z3)........

walg2004

原帖由 chalylau 于 2008-8-29 11:56 发表
建议lz对hdisk2、hdisk3在存储端对应的2个lun进行检查核实。

应该不存在在磁盘阵列上的lun 的问题,在盘阵上检查过了,lun是没问题的,也没的进行任何的误操作,两台主机是同时报的错误,如果说是一个机器有链路上的问题还可以解释,但是两台主机同时发生错误,并且hdisk4 也就是datavg4还是可用的,我今天也是郁闷了一天了,做了一天的数据倒入,重新配置了数据库,在hdisk4 上做新实例了,暂时把子hdisk2 空闲下来,准备好好找找原因.郁闷呀.....

spook

从我做起

chalylau

lz又不见了，看来我们比lz还急嘛

chalylau

建议lz对hdisk2、hdisk3在存储端对应的2个lun进行检查核实。

sky.xuxm

除非在存储端对lun作磁盘格式化，别的操作不至于如此，晕，难道是操作失误，lun选错了

chalylau

原帖由 fck 于 2008-8-29 11:30 发表
看来，hdisk2的vgda信息丢了。
datavg还有其它pv吗？

一般是不会丢失的，除非在存储端对lun做过动作了。

fck

看来，hdisk2的vgda信息丢了。
datavg还有其它pv吗？

walg2004

原帖由 fck 于 2008-8-29 10:04 发表
vg找不到正好可以用importvg啊，
只要hdisk2里面有足够的vgda，vgsa的信息就可以了。
具体命令：importvg -y datavg hdisk2

这个命令我用过,可是不行,信息如下:
db1# lspv -l hdisk2
0516-320 : Physical volume 00cbdacfeb915c860000000000000000 is not assigned to
        a volume group.
db1# importvg -y datavg hdisk2
0516-066 lqueryvg: Physical volume is not a volume group member.
        Check the physical volume name specified.
0516-066 lqueryvg: Physical volume is not a volume group member.
        Check the physical volume name specified.
0516-1140 importvg: Unable to read the volume group descriptor area
        on specified physical volume.