请教 LVM_IO_FAIL错误

thesins

p650双机,通过两台brocade交换机连接共享存储,用cambex做路径冗余.正常情况下a机接管阵列上的共享卷组.当b机接管共享卷组后,a机重启动会遇到不能识别共享阵列的问题,机器停在检测fc卡不能完成启动.拔掉光纤线后重启动,插线执行cfgmgr,有时顺利检测到共享阵列的磁盘,有时检测不到.基本环境和问题如上\r\n突发问题:共享卷组已接管到b机.卷组用做db2数据库的裸设备表空间容器.下午突然出现系统高io等待,系统错误日志如下,持续短时间后数据库崩溃.检查表空间状态发现共享卷组上属于数据库用户的lv属主被更改为root用户.更改属主后备份数据库,开始读写速度正常,20分钟后出现数据基本不读写的情况,持续30分钟后又恢复正常读写速度.此时未注意cambex活动路径.数据备份完成后重新启动阵列和b机,cambex只识别到一条路径.到目前为止数据读写正常.\r\n\r\n请问该采取哪些测试以确定问题发生的原因.或者从此错误日志可以判断出哪些问题,请高手指教,晚上好做测试.阵列为netstor9210,本身没有报任何错误信息.\r\nLABEL:          LVM_IO_FAIL\r\nIDENTIFIER:     613E5F38\r\n\r\nDate/Time:       Tue Dec 18 00:18:32 BEIS\r\nSequence Number: 33232\r\nMachine Id:      0050BE4C4C00\r\nNode Id:         jlserver2\r\nClass:           H\r\nType:            PERM\r\nResource Name:   LVDD            \r\nResource Class:  NONE\r\nResource Type:   NONE\r\nLocation:        \r\n\r\nDescription\r\nI/O ERROR DETECTED BY LVM\r\n\r\nProbable Causes\r\nPOWER, DRIVE, ADAPTER, OR CABLE FAILURE\r\n\r\n        Recommended Actions\r\n        RUN DIAGNOSTICS AGAINST THE FAILING DEVICE\r\n\r\nDetail Data\r\nPHYSICAL VOLUME DEVICE MAJOR/MINOR\r\n0030 0001 \r\nERROR CODE AS DEFINED IN sys/errno.h\r\n          16\r\nBLOCK NUMBER\r\n             499826968\r\nLOGICAL VOLUME DEVICE MAJOR/MINOR\r\n002F 0003 \r\nPHYSICAL BUFFER TRANSACTION TIME\r\n                   128\r\nSENSE DATA\r\n0000 0000 000E E560 0050 B8EC 0000 4C00 0000 0100 789B 2524 0050 B8EC 789B 03D5 \r\n0000 0000 0000 0000 \r\n\r\nLABEL:          SC_DISK_ERR2\r\nIDENTIFIER:     B6267342\r\n\r\nDate/Time:       Tue Dec 18 00:18:32 BEIS\r\nSequence Number: 33227\r\nMachine Id:      0050BE4C4C00\r\nNode Id:         jlserver2\r\nClass:           H\r\nType:            PERM\r\nResource Name:   hdisk5          \r\nResource Class:  disk\r\nResource Type:   IFT\r\nLocation:        U0.1-P2-I5/Q1-W220000D023000008-L1000000000000-W220000D023000008-L1000000000000\r\nVPD:             \r\n        Manufacturer................IFT     \r\n        Machine Type and Model......F16F-S2A2       \r\n        Part Number.................9 Infortrend\r\n        ROS Level and ID............33343252\r\n        Serial Number...............44F3D81B\r\n        EC Level..................... All righ\r\n        FRU Number..................ts reserved.\r\n        Device Specific.(Z0)........00000332F7000002\r\n        Device Specific.(Z1)........-00\r\n        Device Specific.(Z2)........opyr\r\n        Device Specific.(Z3)........ight \r\n        Device Specific.(Z4)........C) 1\r\n        Device Specific.(Z5)........99\r\n        Device Specific.(Z6)........\r\n\r\nDescription\r\nDISK OPERATION ERROR\r\n\r\nProbable Causes\r\nDASD DEVICE\r\n\r\nFailure Causes\r\nDISK DRIVE\r\nDISK DRIVE ELECTRONICS\r\nRecommended Actions\r\n        PERFORM PROBLEM DETERMINATION PROCEDURES\r\n\r\nDetail Data\r\nPATH ID\r\n           0\r\nSENSE DATA\r\n0A00 2A00 1DCA C118 0000 0804 0000 0000 0000 0000 0000 0000 0128 0000 0000 0000 \r\n0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 \r\n0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 \r\n0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 \r\n0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 \r\n0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 0000 \r\n0000 0000 0000 0001 04F4 0007 7100 0000 0001 0000 0000 0000 0000 0000 0000 0000 \r\n0000 0000 0000

jnpiero

LOGICAL VOLUME DEVICE MAJOR/MINOR\r\n002F 0003 \r\n这个是什么？

thesins

我也不知道,要怎么才能知道?

benq011

POWER, DRIVE, ADAPTER, OR CABLE FAILURE原因引起的

jnpiero

MAJOR/MINOR\r\n002F 0003 \r\n转换一下进制

thesins

jnpiero 能否说的详细一点,转换成多少进制,然后怎么判断 ? 002F 0003 这个代码是什么我一点也不知道

yddll

2F=2*16+15=47\r\n03=3\r\n\r\nls -l /dev |grep \'47,  3\'

thesins

谢谢楼上\r\n截取错误日志的部分内容\r\nDetail Data\r\nPHYSICAL VOLUME DEVICE MAJOR/MINOR\r\n0030 0001 \r\nERROR CODE AS DEFINED IN sys/errno.h\r\n          16\r\nBLOCK NUMBER\r\n             499826968\r\nLOGICAL VOLUME DEVICE MAJOR/MINOR\r\n002F 0003 \r\nPHYSICAL BUFFER TRANSACTION TIME\r\n                   128\r\nSENSE DATA\r\n0000 0000 000E E560 0050 B8EC 0000 4C00 0000 0100 789B 2524 0050 B8EC 789B 03D5 \r\n0000 0000 0000 0000 \r\n按楼上所说,执行命令返回结果如下:\r\n#ls -l /dev |grep \'47,  3\'       47,3为LOGICAL VOLUME DEVICE MAJOR/MINOR\r\nbrw-rw----   1 db2inst1 db2grp1      47,  3 Dec 17 20:12 idxsale02\r\ncrw-rw----   1 db2inst1 db2grp1      47,  3 Dec 20 09:26 ridxsale02\r\n#ls -l /dev |grep \'48,  1\'      48,1为PHYSICAL VOLUME DEVICE MAJOR/MINOR\r\nbrw-------   1 root     system       48,  1 Dec 18 01:11 hdisk5\r\ncrw-------   1 root     system       48,  1 Dec 18 01:11 rhdisk5\r\n\r\n\r\nridxsale02是用做数据库表空间容器的裸设备\r\n我看了一下，系统有很多lvm_io_fail的日志,物理设备都指向hdisk5,逻辑设备基本都是47,3.也有一个47,2是hdisk5上用做数据库表空间容器的另一个裸设备.\r\n在这里想请问通过\r\nERROR CODE AS DEFINED IN sys/errno.h\r\n          16\r\nBLOCK NUMBER\r\n             499826968\r\nSENSE DATA\r\n0000 0000 000E E560 0050 B8EC 0000 4C00 0000 0100 789B 2524 0050 B8EC 789B 03D5 \r\n0000 0000 0000 0000 \r\n这些信息可以做哪些判断?  \r\n另:到目前为止系统运行正常，没有新的错误,也没出现io性能问题,想请问熟悉存储的朋友，有可能是阵列出现临时性错误执行自我修复,导致当时的性能下降吗

hengrui

看起來你的 hdisk5 是由 Infortrend 的 RAID Controller 作出來的 RAID Disk\r\n可能這個 Logical Drive 有問題了...\r\n目前沒再出現 Error , 但有可能 Read/Write 到有問題的磁區的檔案,Error Report 又會吐訊息...\r\n觀察一陣子看看吧...