免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 7522 | 回复: 9

[集群与高可用] rhel-server5.2-x86_64下的multipath配置问题 [复制链接]

论坛徽章:
0
发表于 2011-06-17 19:17 |显示全部楼层
本帖最后由 cyszys 于 2011-06-17 19:19 编辑

我的机器上安装了两个EMULEX 4Gb的HBA卡,      

      以前在服务器上安装的rhel-server5.4-x86_64 配置上都没什么问题,但是因为5.4不符合要求,换成rhel-server5.2-x86_64后,使用multipath -v3这个命令不能刷出wwid信息了,反馈信息如下:
[root@iosrv ~]# multipath -v3
dm-0: blacklisted
dm-1: blacklisted
dm-2: blacklisted
dm-3: blacklisted
dm-4: blacklisted
dm-5: blacklisted
dm-6: blacklisted
hda: blacklisted
md0: blacklisted
ram0: blacklisted
ram10: blacklisted
ram11: blacklisted
ram12: blacklisted
ram13: blacklisted
ram14: blacklisted
ram15: blacklisted
ram1: blacklisted
ram2: blacklisted
ram3: blacklisted
ram4: blacklisted
ram5: blacklisted
ram6: blacklisted
ram7: blacklisted
ram8: blacklisted
ram9: blacklisted
sda:blacklisted
sda:blacklisted
sda:blacklisted
sda:blacklisted
sda:blacklisted
sda:blacklisted
sda:blacklisted
sda:blacklisted
sda:blacklisted
===== no paths =====
[root@iosrv ~]#

兄弟我很是郁闷,setup中开启multipathd服务,重启服务器,重启日立存储,问题依旧。。
后来我把系统的multipath.conf配置文件改名备份后,直接将以前在5.4上做好的multipath.conf配置文件传上去,重启multipathd服务后multipath -ll查看, 竟然能看到我的multipath.conf配置生效了!!可是回头再去multipath -v3 依然不能打印wwid等信息,无奈我重启服务器后离开机房,到楼上办公室以后登上服务器multipath -v3一把 wwid等信息如约而至,这是为什么呢? 真是太混蛋了。

兄弟我在服务其上面装了这些包,可以断定不是缺包的问题,因为我是按照要求被迫在图形安装界面上把所有的包统统都安装了的。
[root@iosrv ~]# rpm -qa |grep mapper
device-mapper-event-1.02.24-1.el5
device-mapper-1.02.24-1.el5
device-mapper-1.02.24-1.el5
device-mapper-multipath-0.4.7-17.el5
[root@iosrv ~]#

现在能够成功执行multipath -v3之后的到得信息如下,这个信息是正确的。
[root@iosrv ~]# multipath -v3
dm-0: blacklisted
dm-1: blacklisted
dm-2: blacklisted
dm-3: blacklisted
dm-4: blacklisted
dm-5: blacklisted
dm-6: blacklisted
hda: blacklisted
md0: blacklisted
ram0: blacklisted
ram10: blacklisted
ram11: blacklisted
ram12: blacklisted
ram13: blacklisted
ram14: blacklisted
ram15: blacklisted
ram1: blacklisted
ram2: blacklisted
ram3: blacklisted
ram4: blacklisted
ram5: blacklisted
ram6: blacklisted
ram7: blacklisted
ram8: blacklisted
ram9: blacklisted
sda: blacklisted
sdb: not found in pathvec
sdb: mask = 0x1f
sdb: bus = 1
sdb: dev_t = 8:16
sdb: size = 4294967296
sdb: vendor = HITACHI
sdb: product = DF600F
sdb: rev = 0000
sdb: h:b:t:l = 5:0:0:0
sdb: tgt_node_name = 0x50060e8010271a48
sdb: serial = 850190920000   
sdb: path checker = readsector0 (controller setting)
sdb: state = 2
sdb: getprio = /sbin/mpath_prio_hds_modular %d (controller setting)
sdb: prio = 1
sdb: getuid = /sbin/scsi_id -g -u -s /block/%n (controller setting)
sdb: uid = 360060e8010271a40051149d400000000 (callout)
sdc: not found in pathvec
sdc: mask = 0x1f
sdc: bus = 1
sdc: dev_t = 8:32
sdc: size = 4294967296
sdc: vendor = HITACHI
sdc: product = DF600F
sdc: rev = 0000
sdc: h:b:t:l = 5:0:0:1
sdc: tgt_node_name = 0x50060e8010271a48
sdc: serial = 850190920001   
sdc: path checker = readsector0 (controller setting)
sdc: state = 2
sdc: getprio = /sbin/mpath_prio_hds_modular %d (controller setting)
sdc: prio = 0
sdc: getuid = /sbin/scsi_id -g -u -s /block/%n (controller setting)
sdc: uid = 360060e8010271a40051149d400000001 (callout)
sdd: not found in pathvec
sdd: mask = 0x1f
sdd: bus = 1
sdd: dev_t = 8:48
sdd: size = 4294967296
sdd: vendor = HITACHI
sdd: product = DF600F
sdd: rev = 0000
sdd: h:b:t:l = 5:0:0:2
sdd: tgt_node_name = 0x50060e8010271a48
sdd: serial = 850190920002   
sdd: path checker = readsector0 (controller setting)
sdd: state = 2
sdd: getprio = /sbin/mpath_prio_hds_modular %d (controller setting)
sdd: prio = 1
sdd: getuid = /sbin/scsi_id -g -u -s /block/%n (controller setting)
sdd: uid = 360060e8010271a40051149d400000002 (callout)
sde: not found in pathvec
sde: mask = 0x1f
sde: bus = 1
sde: dev_t = 8:64
sde: size = 2474639360
sde: vendor = HITACHI
sde: product = DF600F
sde: rev = 0000
sde: h:b:t:l = 5:0:0:3
sde: tgt_node_name = 0x50060e8010271a48
sde: serial = 850190920003   
sde: path checker = readsector0 (controller setting)
sde: state = 2
sde: getprio = /sbin/mpath_prio_hds_modular %d (controller setting)
sde: prio = 0
sde: getuid = /sbin/scsi_id -g -u -s /block/%n (controller setting)
sde: uid = 360060e8010271a40051149d400000003 (callout)
sdf: not found in pathvec
sdf: mask = 0x1f
sdf: bus = 1
sdf: dev_t = 8:80
sdf: size = 4294967296
sdf: vendor = HITACHI
sdf: product = DF600F
sdf: rev = 0000
sdf: h:b:t:l = 6:0:0:0
sdf: tgt_node_name = 0x50060e8010271a40
sdf: serial = 850190920000   
sdf: path checker = readsector0 (controller setting)
sdf: state = 2
sdf: getprio = /sbin/mpath_prio_hds_modular %d (controller setting)
sdf: prio = 0
sdf: getuid = /sbin/scsi_id -g -u -s /block/%n (controller setting)
sdf: uid = 360060e8010271a40051149d400000000 (callout)
sdg: not found in pathvec
sdg: mask = 0x1f
sdg: bus = 1
sdg: dev_t = 8:96
sdg: size = 4294967296
sdg: vendor = HITACHI
sdg: product = DF600F
sdg: rev = 0000
sdg: h:b:t:l = 6:0:0:1
sdg: tgt_node_name = 0x50060e8010271a40
sdg: serial = 850190920001   
sdg: path checker = readsector0 (controller setting)
sdg: state = 2
sdg: getprio = /sbin/mpath_prio_hds_modular %d (controller setting)
sdg: prio = 1
sdg: getuid = /sbin/scsi_id -g -u -s /block/%n (controller setting)
sdg: uid = 360060e8010271a40051149d400000001 (callout)
sdh: not found in pathvec
sdh: mask = 0x1f
sdh: bus = 1
sdh: dev_t = 8:112
sdh: size = 4294967296
sdh: vendor = HITACHI
sdh: product = DF600F
sdh: rev = 0000
sdh: h:b:t:l = 6:0:0:2
sdh: tgt_node_name = 0x50060e8010271a40
sdh: serial = 850190920002   
sdh: path checker = readsector0 (controller setting)
sdh: state = 2
sdh: getprio = /sbin/mpath_prio_hds_modular %d (controller setting)
sdh: prio = 0
sdh: getuid = /sbin/scsi_id -g -u -s /block/%n (controller setting)
sdh: uid = 360060e8010271a40051149d400000002 (callout)
sdi: not found in pathvec
sdi: mask = 0x1f
sdi: bus = 1
sdi: dev_t = 8:128
sdi: size = 2474639360
sdi: vendor = HITACHI
sdi: product = DF600F
sdi: rev = 0000
sdi: h:b:t:l = 6:0:0:3
sdi: tgt_node_name = 0x50060e8010271a40
sdi: serial = 850190920003   
sdi: path checker = readsector0 (controller setting)
sdi: state = 2
sdi: getprio = /sbin/mpath_prio_hds_modular %d (controller setting)
sdi: prio = 1
sdi: getuid = /sbin/scsi_id -g -u -s /block/%n (controller setting)
sdi: uid = 360060e8010271a40051149d400000003 (callout)
===== paths list =====
uuid                              hcil    dev dev_t pri dm_st  chk_st  vend/pr
360060e8010271a40051149d400000000 5:0:0:0 sdb 8:16  1   [undef][ready] HITACHI
360060e8010271a40051149d400000001 5:0:0:1 sdc 8:32  0   [undef][ready] HITACHI
360060e8010271a40051149d400000002 5:0:0:2 sdd 8:48  1   [undef][ready] HITACHI
360060e8010271a40051149d400000003 5:0:0:3 sde 8:64  0   [undef][ready] HITACHI
360060e8010271a40051149d400000000 6:0:0:0 sdf 8:80  0   [undef][ready] HITACHI
360060e8010271a40051149d400000001 6:0:0:1 sdg 8:96  1   [undef][ready] HITACHI
360060e8010271a40051149d400000002 6:0:0:2 sdh 8:112 0   [undef][ready] HITACHI
360060e8010271a40051149d400000003 6:0:0:3 sdi 8:128 1   [undef][ready] HITACHI
params = 1 queue_if_no_path 0 1 1 round-robin 0 2 1 8:64 1000 8:128 1000
status = 2 0 0 0 1 1 A 0 2 0 8:64 A 0 8:128 A 0
sde: mask = 0x8
sde: prio = 0
params = 1 queue_if_no_path 0 1 1 round-robin 0 2 1 8:48 1000 8:112 1000
status = 2 0 0 0 1 1 A 0 2 0 8:48 A 0 8:112 A 0
sdh: mask = 0x8
sdh: prio = 0
params = 1 queue_if_no_path 0 1 1 round-robin 0 2 1 8:32 1000 8:96 1000
status = 2 0 0 0 1 1 A 0 2 0 8:32 A 0 8:96 A 0
sdc: mask = 0x8
sdc: prio = 0
params = 1 queue_if_no_path 0 1 1 round-robin 0 2 1 8:16 1000 8:80 1000
status = 2 0 0 0 1 1 A 0 2 0 8:16 A 0 8:80 A 0
sdf: mask = 0x8
sdf: prio = 0
sdb: ownership set to data1
sdb: not found in pathvec
sdb: mask = 0xc
sdb: state = 2
sdb: prio = 1
sdf: ownership set to data1
sdf: not found in pathvec
sdf: mask = 0xc
sdf: state = 2
sdf: prio = 0
data1: pgfailback = -1 (LUN setting)
data1: pgpolicy = multibus (LUN setting)
data1: selector = round-robin 0 (LUN setting)
data1: features = 0 (controller setting)
data1: hwhandler = 0 (controller setting)
data1: rr_weight = 2 (LUN setting)
data1: minio = 1000 (controller setting)
data1: no_path_retry = 5 (multipath setting)
pg_timeout = NONE (internal default)
data1: set ACT_NOTHING (map unchanged)
sdc: ownership set to data2
sdc: not found in pathvec
sdc: mask = 0xc
sdc: state = 2
sdc: prio = 0
sdg: ownership set to data2
sdg: not found in pathvec
sdg: mask = 0xc
sdg: state = 2
sdg: prio = 1
data2: pgfailback = -1 (LUN setting)
data2: pgpolicy = multibus (LUN setting)
data2: selector = round-robin 0 (LUN setting)
data2: features = 0 (controller setting)
data2: hwhandler = 0 (controller setting)
data2: rr_weight = 2 (LUN setting)
data2: minio = 1000 (controller setting)
data2: no_path_retry = 5 (multipath setting)
pg_timeout = NONE (internal default)
data2: set ACT_NOTHING (map unchanged)
sdd: ownership set to data3
sdd: not found in pathvec
sdd: mask = 0xc
sdd: state = 2
sdd: prio = 1
sdh: ownership set to data3
sdh: not found in pathvec
sdh: mask = 0xc
sdh: state = 2
sdh: prio = 0
data3: pgfailback = -1 (LUN setting)
data3: pgpolicy = multibus (LUN setting)
data3: selector = round-robin 0 (LUN setting)
data3: features = 0 (controller setting)
data3: hwhandler = 0 (controller setting)
data3: rr_weight = 2 (LUN setting)
data3: minio = 1000 (controller setting)
data3: no_path_retry = 5 (multipath setting)
pg_timeout = NONE (internal default)
data3: set ACT_NOTHING (map unchanged)
sde: ownership set to data4
sde: not found in pathvec
sde: mask = 0xc
sde: state = 2
sde: prio = 0
sdi: ownership set to data4
sdi: not found in pathvec
sdi: mask = 0xc
sdi: state = 2
sdi: prio = 1
data4: pgfailback = -1 (LUN setting)
data4: pgpolicy = multibus (LUN setting)
data4: selector = round-robin 0 (LUN setting)
data4: features = 0 (controller setting)
data4: hwhandler = 0 (controller setting)
data4: rr_weight = 2 (LUN setting)
data4: minio = 1000 (controller setting)
data4: no_path_retry = 5 (multipath setting)
pg_timeout = NONE (internal default)
data4: set ACT_NOTHING (map unchanged)
[root@iosrv ~]#


请各位的大侠帮忙分析一下,问题到地处在啥地方,如果兄弟我没有保留以前在5.4上的multipath.conf配置文件,那今天就真的折了。
怪怪,你说这是为什么呢?



附上我的multipath.conf配置文件,没准儿能帮某些兄弟做为multipath配置的参考

[root@iosrv ~]# cat /etc/multipath.conf
# This is a basic configuration file with some examples, for device mapper
# multipath.
# For a complete list of the default configuration values, see
# /usr/share/doc/device-mapper-multipath-0.4.7/multipath.conf.defaults
# For a list of configuration options with descriptions, see
# /usr/share/doc/device-mapper-multipath-0.4.7/multipath.conf.annotated


# Blacklist all devices by default. Remove this to enable multipathing
# on the default devices.
blacklist {
        devnode "sda"
}

## By default, devices with vendor = "IBM" and product = "S/390.*" are
## blacklisted. To enable mulitpathing on these devies, uncomment the
## following lines.
#blacklist_exceptions {
#       device {
#               vendor  "IBM"
#               product "S/390.*"
#       }
#}

## Use user friendly names, instead of using WWIDs as names.
defaults {
        user_friendly_names yes
}
##
## Here is an example of how to configure some standard options.
##
#
#defaults {
#       udev_dir                /dev
#       polling_interval        10
#       selector                "round-robin 0"
#       path_grouping_policy    multibus
#       getuid_callout          "/sbin/scsi_id -g -u -s /block/%n"
#       prio_callout            /bin/true
#       path_checker            readsector0
#       rr_min_io               100
#       max_fds                 8192
#       rr_weight               priorities
#       failback                immediate
#       no_path_retry           fail
#       user_friendly_names     yes
#}
##
## The wwid line in the following blacklist section is shown as an example
## of how to blacklist devices by wwid.  The 2 devnode lines are the
## compiled in default blacklist. If you want to blacklist entire types
## of devices, such as all scsi devices, you should use a devnode line.
## However, if you want to blacklist specific devices, you should use
## a wwid line.  Since there is no guarantee that a specific device will
## not change names on reboot (from /dev/sda to /dev/sdb for example)
## devnode lines are not recommended for blacklisting specific devices.
##
#blacklist {
#       wwid 26353900f02796769
#       devnode "^(ram|raw|loop|fd|md|dm-|sr|scd|st)[0-9]*"
#       devnode "^hd[a-z]"
#}
#multipaths {
#       multipath {
#               wwid                    3600508b4000156d700012000000b0000
#               alias                   yellow
#               path_grouping_policy    multibus
#               path_checker            readsector0
#               path_selector           "round-robin 0"
#               failback                manual
#               rr_weight               priorities
#               no_path_retry           5
#       }
#       multipath {
#               wwid                    1DEC_____321816758474
#               alias                   red
#       }
#}
#devices {
#       device {
#               vendor                  "COMPAQ  "
#               product                 "HSV110 (C)COMPAQ"
#               path_grouping_policy    multibus
#               getuid_callout          "/sbin/scsi_id -g -u -s /block/%n"
#               path_checker            readsector0
#               path_selector           "round-robin 0"
#               hardware_handler        "0"
#               failback                15
#               rr_weight               priorities
#               no_path_retry           queue
#       }
#       device {
#               vendor                  "COMPAQ  "
#               product                 "MSA1000         "
#               path_grouping_policy    multibus
#       }
#}
###############Hitachi Storage Configure#######################################
#######no.1#####
multipaths {
       multipath {
               wwid                    360060e8010271a40051149d400000000
               alias                   data1
               path_grouping_policy    multibus
               path_checker            readsector0
               path_selector           "round-robin 0"
               failback                manual
               rr_weight               priorities
               no_path_retry           5
       }
#######no.2#####
multipaths {                                                                  
       multipath {                                                            
               wwid                    360060e8010271a40051149d400000001      
               alias                   data2                                 
               path_grouping_policy    multibus                              
               path_checker            readsector0                           
               path_selector           "round-robin 0"                        
               failback                manual                                 
               rr_weight               priorities                             
               no_path_retry           5                                      
       }                                                                     
#######no.3#####
multipaths {                                                                  
       multipath {                                                            
               wwid                    360060e8010271a40051149d400000002      
               alias                   data3                                 
               path_grouping_policy    multibus                              
               path_checker            readsector0                           
               path_selector           "round-robin 0"                        
               failback                manual                                 
               rr_weight               priorities                             
               no_path_retry           5                                      
       }
#######no.4#####
multipaths {                                                                  
       multipath {                                                            
               wwid                    360060e8010271a40051149d400000003      
               alias                   data4                                 
               path_grouping_policy    multibus                              
               path_checker            readsector0                           
               path_selector           "round-robin 0"                        
               failback                manual                                 
               rr_weight               priorities                             
               no_path_retry           5                                      
       }
}
devices {
       device {
               vendor                  "HITACHI  "
               product                 "DF600F         "
               path_grouping_policy    multibus
               getuid_callout          "/sbin/scsi_id -g -u -s /block/%n"
               path_checker            readsector0
               path_selector           "round-robin 0"
               hardware_handler        "0"
               failback                -2
               rr_weight               1
               no_path_retry           NONE
       }
}
###############Hitachi Storage Configure#######################################
[root@iosrv ~]#
[root@iosrv ~]#
[root@iosrv ~]#

论坛徽章:
0
发表于 2011-06-17 21:56 |显示全部楼层
啊 没人啊

论坛徽章:
0
发表于 2011-06-17 22:03 |显示全部楼层
cu上人气好旺啊 这么一会儿就100多的浏览量 可惜只有我自己在这里蹦跶着 看来cu的同志们太烂了 灌个水都懒得动手

论坛徽章:
7
双子座
日期:2013-09-09 15:55:31CU大牛徽章
日期:2013-09-18 15:22:06CU大牛徽章
日期:2013-09-18 15:22:20CU大牛徽章
日期:2013-09-18 15:22:26CU大牛徽章
日期:2013-09-18 15:22:31CU大牛徽章
日期:2013-09-18 15:22:37CU大牛徽章
日期:2013-09-18 15:22:46
发表于 2011-06-18 19:06 |显示全部楼层
没碰到这个问题啊。我一般是先清除掉multipath,然后在dry run一次,再重启服务。

论坛徽章:
9
技术图书徽章
日期:2014-10-14 15:48:13数据库技术版块每日发帖之星
日期:2015-06-04 22:20:00数据库技术版块每日发帖之星
日期:2015-06-10 22:20:00数据库技术版块每日发帖之星
日期:2015-06-11 22:20:00数据库技术版块每日发帖之星
日期:2015-06-13 22:20:00IT运维版块每日发帖之星
日期:2015-09-22 06:20:00IT运维版块每日发帖之星
日期:2015-12-08 06:20:00综合交流区版块每日发帖之星
日期:2016-02-02 06:20:00IT运维版块每日发帖之星
日期:2016-07-25 06:20:00
发表于 2011-06-18 23:02 |显示全部楼层
楼主搞得太复杂了,用MDADM可以轻松搞定多路径。

论坛徽章:
0
发表于 2011-06-20 10:19 |显示全部楼层
帮顶,等结果!

论坛徽章:
0
发表于 2011-06-21 10:38 |显示全部楼层
用日立自带的HDLM啊。。。。。。。。。。。。

论坛徽章:
0
发表于 2011-06-22 09:27 |显示全部楼层
补充楼上的,如果是IBM的DS系列,可以装上RDAC软件,装完后用带RDAC补丁的内核启动就行了,不需要改配置文件,很方便!

论坛徽章:
0
发表于 2011-08-01 02:18 |显示全部楼层
用日立自带的HDLM啊。。。。。。。。。。。。
chlmbeck 发表于 2011-06-21 10:38



    呵呵 很久以前我发的帖子了 说明一下 我已经把问题解决掉了 记得当时问题的原因是 早前这个存储上有LVM 我后来把lv和vg都删除掉 重启服务器起就没有问题了

不过这位仁兄 我之所以用multipath就是因为没有购买HDLM 你这个建议是好 不过你没啥用处 呵呵  还是谢谢了

论坛徽章:
0
发表于 2015-09-17 15:25 |显示全部楼层
你好,我的本地存储上有LVM,但是我把本地存储放到黑名单了,执行multipath -v2也会出错,该如何解决呀?:
Sep 17 15:18:30 | Found matching wwid [1ATA     VBOX HARDDISK                           VBc55e924c-d4af8057 ] in bindings file. Setting alias to mpathf
Sep 17 15:18:30 | sdf: ownership set to mpathf
Sep 17 15:18:30 | sdf: not found in pathvec
Sep 17 15:18:30 | sdf: mask = 0xc
Sep 17 15:18:30 | sdf: get_state
Sep 17 15:18:30 | sdf: state = running
Sep 17 15:18:30 | sdf: state = 3
Sep 17 15:18:30 | sdf: state = running
Sep 17 15:18:30 | sdf: alua not supported
Sep 17 15:18:30 | sdf: alua prio error
Sep 17 15:18:30 | mpathf: pgfailback = -2 (config file default)
Sep 17 15:18:30 | mpathf: pgpolicy = multibus (config file default)
Sep 17 15:18:30 | mpathf: selector = round-robin 0 (internal default)
Sep 17 15:18:30 | mpathf: features = 0 (internal default)
Sep 17 15:18:30 | mpathf: hwhandler = 0 (internal default)
Sep 17 15:18:30 | mpathf: rr_weight = 2 (config file default)
Sep 17 15:18:30 | mpathf: minio = 1 rq (config file default)
Sep 17 15:18:30 | mpathf: no_path_retry = -1 (config file default)
Sep 17 15:18:30 | pg_timeout = NONE (internal default)
Sep 17 15:18:30 | mpathf: retain_attached_hw_handler = 1 (config file default)
Sep 17 15:18:30 | DM message failed [fail_if_no_path
]
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,8.5折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时8.5折扣期:2019年9月30日前


----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP