多路径存储设备访问问题，不知从何下手，求指点迷津。

shadow_zl

我在两台机器上做了hacmp
两台机器通过两台SAN交换机连接存储IBM DS3400

在两台机器上查看硬盘情况如下：
[root@node1]/-> lsdev -Cc disk
hdisk0 Available 0A-08-00-5,0 16 Bit LVD SCSI Disk Drive
hdisk1 Available 0A-08-01-3,0 16 Bit LVD SCSI Disk Drive
hdisk2 Available 0A-08-01-4,0 16 Bit LVD SCSI Disk Drive
hdisk3 Available 0A-08-01-5,0 16 Bit LVD SCSI Disk Drive
hdisk4 Available 0C-08-01     MPIO Other DS3K Array Disk
hdisk5 Available 0C-08-01     MPIO Other DS3K Array Disk
hdisk6 Available 0C-08-01     MPIO Other DS3K Array Disk
hdisk7 Available 0C-08-01     MPIO Other DS3K Array Disk

[root@node2]/-> lsdev -Cc disk
hdisk0 Available 03-08-00-3,0 16 Bit LVD SCSI Disk Drive
hdisk1 Available 03-08-00-4,0 16 Bit LVD SCSI Disk Drive
hdisk2 Available 03-08-00-5,0 16 Bit LVD SCSI Disk Drive
hdisk3 Available 03-08-00-8,0 16 Bit LVD SCSI Disk Drive
hdisk4 Available 09-08-01     MPIO Other DS3K Array Disk
hdisk5 Available 09-08-01     MPIO Other DS3K Array Disk
hdisk6 Available 09-08-01     MPIO Other DS3K Array Disk
hdisk7 Available 09-08-01     MPIO Other DS3K Array Disk

vg划分情况如下：
[root@node1]/-> lspv
hdisk0          00c015424ca04b04                    rootvg          active              
hdisk1          none                                None                                
hdisk2          00c015425596318f                    archvg          active              
hdisk3          00c015425596de9a                    None                                
hdisk4          00c015420cea3629                    datavg          concurrent         
hdisk5          00c015420cea4051                    datavg          concurrent         
hdisk6          00c015421258debe                    heartvg1        concurrent         
hdisk7          00c015421258e6e5                    heartvg2        concurrent         


[root@node2]/-> lspv
hdisk0          000c39c4f9e1d87b                    rootvg          active              
hdisk1          000c3a7af749c347                    rootvg          active              
hdisk2          000c3900ed37fa11                    arch1vg         active              
hdisk3          000c39c4c57b01ef                    None                                
hdisk4          00c015420cea3629                    datavg          concurrent         
hdisk5          00c015420cea4051                    datavg          concurrent         
hdisk6          00c015421258debe                    heartvg1        concurrent         
hdisk7          00c015421258e6e5                    heartvg2        concurrent         


lsvg命令分别查看所有的vg

node1上：

[root@node1]/-> lsvg datavg
VOLUME GROUP:       datavg                   VG IDENTIFIER:  00c0154200004c00000001432ff06f3f
VG STATE:           active                   PP SIZE:        1024 megabyte(s)
VG PERMISSION:      read/write               TOTAL PPs:      1598 (1636352 megabytes)
MAX LVs:            256                      FREE PPs:       318 (325632 megabytes)
LVs:                5                        USED PPs:       1280 (1310720 megabytes)
OPEN LVs:           0                        QUORUM:         2 (Enabled)
TOTAL PVs:          2                        VG DESCRIPTORS: 3
STALE PVs:          0                        STALE PPs:      0
ACTIVE PVs:         2                        AUTO ON:        no
Concurrent:         Enhanced-Capable         Auto-Concurrent: Disabled
VG Mode:            Concurrent                              
Node ID:            1                        Active Nodes:       2
MAX PPs per VG:     32512                                    
MAX PPs per PV:     1016                     MAX PVs:        32
LTG size (Dynamic): 256 kilobyte(s)          AUTO SYNC:      no
HOT SPARE:          no                       BB POLICY:      relocatable
PV RESTRICTION:     none                     INFINITE RETRY: no

大约十秒钟出来这个结果
另外的两个vg无法访问，如下：

[root@node1]/-> lsvg heartvg1
0516-062 : Unable to read or write logical volume manager
        record. PV may be permanently corrupted. Run diagnostics
[root@node1]/-> lsvg heartvg2
0516-062 : Unable to read or write logical volume manager
        record. PV may be permanently corrupted. Run diagnostics

在node2上用lsvg都可以查，而且一秒钟出结果：

[root@node2]/-> lsvg datavg
VOLUME GROUP:       datavg                   VG IDENTIFIER:  00c0154200004c00000001432ff06f3f
VG STATE:           active                   PP SIZE:        1024 megabyte(s)
VG PERMISSION:      read/write               TOTAL PPs:      1598 (1636352 megabytes)
MAX LVs:            256                      FREE PPs:       318 (325632 megabytes)
LVs:                5                        USED PPs:       1280 (1310720 megabytes)
OPEN LVs:           0                        QUORUM:         2 (Enabled)
TOTAL PVs:          2                        VG DESCRIPTORS: 3
STALE PVs:          0                        STALE PPs:      0
ACTIVE PVs:         2                        AUTO ON:        no
Concurrent:         Enhanced-Capable         Auto-Concurrent: Disabled
VG Mode:            Concurrent                              
Node ID:            2                        Active Nodes:       1
MAX PPs per VG:     32512                                    
MAX PPs per PV:     1016                     MAX PVs:        32
LTG size (Dynamic): 256 kilobyte(s)          AUTO SYNC:      no
HOT SPARE:          no                       BB POLICY:      relocatable
PV RESTRICTION:     none                     INFINITE RETRY: no



[root@node2]/-> lsvg heartvg1
VOLUME GROUP:       heartvg1                 VG IDENTIFIER:  00c0154200004c000000014316db5825
VG STATE:           active                   PP SIZE:        1024 megabyte(s)
VG PERMISSION:      read/write               TOTAL PPs:      799 (818176 megabytes)
MAX LVs:            256                      FREE PPs:       287 (293888 megabytes)
LVs:                1                        USED PPs:       512 (524288 megabytes)
OPEN LVs:           0                        QUORUM:         2 (Enabled)
TOTAL PVs:          1                        VG DESCRIPTORS: 2
STALE PVs:          0                        STALE PPs:      0
ACTIVE PVs:         1                        AUTO ON:        no
Concurrent:         Enhanced-Capable         Auto-Concurrent: Disabled
VG Mode:            Concurrent                              
Node ID:            2                        Active Nodes:       1
MAX PPs per VG:     32512                                    
MAX PPs per PV:     1016                     MAX PVs:        32
LTG size (Dynamic): 256 kilobyte(s)          AUTO SYNC:      no
HOT SPARE:          no                       BB POLICY:      relocatable
PV RESTRICTION:     none                     INFINITE RETRY: no



[root@node2]/-> lsvg heartvg2
VOLUME GROUP:       heartvg2                 VG IDENTIFIER:  00c0154200004c000000014316dc2e0d
VG STATE:           active                   PP SIZE:        1024 megabyte(s)
VG PERMISSION:      read/write               TOTAL PPs:      799 (818176 megabytes)
MAX LVs:            256                      FREE PPs:       287 (293888 megabytes)
LVs:                1                        USED PPs:       512 (524288 megabytes)
OPEN LVs:           0                        QUORUM:         2 (Enabled)
TOTAL PVs:          1                        VG DESCRIPTORS: 2
STALE PVs:          0                        STALE PPs:      0
ACTIVE PVs:         1                        AUTO ON:        no
Concurrent:         Enhanced-Capable         Auto-Concurrent: Disabled
VG Mode:            Concurrent                              
Node ID:            2                        Active Nodes:       1
MAX PPs per VG:     32512                                    
MAX PPs per PV:     1016                     MAX PVs:        32
LTG size (Dynamic): 256 kilobyte(s)          AUTO SYNC:      no
HOT SPARE:          no                       BB POLICY:      relocatable
PV RESTRICTION:     none                     INFINITE RETRY: no


这算是存储访问的问题吧？我对存储这方面不了解，请各位指点迷津！

yddll

lsattr -El hdisk4

shadow_zl

回复 2# yddll


[root@node1]/-> lsattr -El hdisk4
DIF_prot_type   none                                                           T10 protection type              False
DIF_protection  no                                                             T10 protection support           True
PCM             PCM/friend/otherapdisk                                         Path Control Module              False
PR_key_value    none                                                           Persistant Reserve Key Value     True
algorithm       fail_over                                                      Algorithm                        True
autorecovery    no                                                             Path/Ownership Autorecovery      True
clr_q           no                                                             Device CLEARS its Queue on error True
cntl_delay_time 90                                                             Controller Delay Time            True
cntl_hcheck_int 10                                                             Controller Health Check Interval True
dist_err_pcnt   0                                                              Distributed Error Percentage     True
dist_tw_width   50                                                             Distributed Error Sample Time    True
hcheck_cmd      inquiry                                                        Health Check Command             True
hcheck_interval 60                                                             Health Check Interval            True
hcheck_mode     nonactive                                                      Health Check Mode                True
location                                                                       Location Label                   True
lun_id          0x0                                                            Logical Unit Number ID           False
lun_reset_spt   yes                                                            LUN Reset Supported              True
max_coalesce    0x10000                                                        Maximum Coalesce Size            True
max_retry_delay 60                                                             Maximum Quiesce Time             True
max_transfer    0x40000                                                        Maximum TRANSFER Size            True
node_name       0x200400a0b8671278                                             FC Node Name                     False
pvid            00c015420cea36290000000000000000                               Physical volume identifier       False
q_err           yes                                                            Use QERR bit                     True
q_type          simple                                                         Queuing TYPE                     True
queue_depth     10                                                             Queue DEPTH                      True
reassign_to     120                                                            REASSIGN time out value          True
reserve_policy  no_reserve                                                     Reserve Policy                   True
rw_timeout      30                                                             READ/WRITE time out value        True
scsi_id         0x10000                                                        SCSI ID                          False
start_timeout   60                                                             START unit time out value        True
timeout_policy  retry_path                                                     Timeout Policy                   True
unique_id       3E213600A0B800067127800006D3952643F860F1726-4xx  FAStT03IBMfcp Unique device identifier         False
ww_name         0x202400a0b8671278                                             FC World Wide Name               False
[root@node2]/-> lsattr -El hdisk4
DIF_prot_type   none                                                           T10 protection type              False
DIF_protection  no                                                             T10 protection support           True
PCM             PCM/friend/otherapdisk                                         Path Control Module              False
PR_key_value    none                                                           Persistant Reserve Key Value     True
algorithm       fail_over                                                      Algorithm                        True
autorecovery    no                                                             Path/Ownership Autorecovery      True
clr_q           no                                                             Device CLEARS its Queue on error True
cntl_delay_time 90                                                             Controller Delay Time            True
cntl_hcheck_int 10                                                             Controller Health Check Interval True
dist_err_pcnt   0                                                              Distributed Error Percentage     True
dist_tw_width   50                                                             Distributed Error Sample Time    True
hcheck_cmd      inquiry                                                        Health Check Command             True
hcheck_interval 60                                                             Health Check Interval            True
hcheck_mode     nonactive                                                      Health Check Mode                True
location                                                                       Location Label                   True
lun_id          0x0                                                            Logical Unit Number ID           False
lun_reset_spt   yes                                                            LUN Reset Supported              True
max_coalesce    0x10000                                                        Maximum Coalesce Size            True
max_retry_delay 60                                                             Maximum Quiesce Time             True
max_transfer    0x40000                                                        Maximum TRANSFER Size            True
node_name       0x200400a0b8671278                                             FC Node Name                     False
pvid            00c015420cea36290000000000000000                               Physical volume identifier       False
q_err           yes                                                            Use QERR bit                     True
q_type          simple                                                         Queuing TYPE                     True
queue_depth     10                                                             Queue DEPTH                      True
reassign_to     120                                                            REASSIGN time out value          True
reserve_policy  no_reserve                                                     Reserve Policy                   True
rw_timeout      30                                                             READ/WRITE time out value        True
scsi_id         0x10000                                                        SCSI ID                          False
start_timeout   60                                                             START unit time out value        True
timeout_policy  retry_path                                                     Timeout Policy                   True
unique_id       3E213600A0B800067127800006D3952643F860F1726-4xx  FAStT03IBMfcp Unique device identifier         False
ww_name         0x202500a0b8671278                                             FC World Wide Name               False