Redhat EL5 连接IBM DS8100失败（用DMMP解决）

hefan

刀片服务器是IBM的，已经连接DS8100，DS8100上已经对应划好盘了。

Redhat是EL 5.3，安装IBMSdd成功，但是运行sdd start的时候提示:

Linux kernel 2.6.18-164.e15xen is not support

IBM官网上没好像就只写了支持Redhat EL3和EL4，怎么办？

我的步骤错误了没？

请DX指点

hefan

没人关注啊

自己继续找资料

hefan

参考的是这篇文章：Redhat Linux安装SDD,配置使用DS8000
2009年08月12日

　　下载与安装

　　下载SDD驱动 http://www-01.ibm.com/support/docview.wss?rs=540&c ontext=ST52G7&dc=D430&uid=ssg1S4000107&loc=en_US&cs =utf-8&lang=en 我的系统是RHEL4.6，所以选择Platform Red Hat EL 4.0 (x86_64) SDD v1.6.3.0-8，

　　查看系统内核版本

　　[root@ localhost ~]# uname -a

　　Linux localhost 2.6.9-67.ELsmp #1 SMP Wed Nov 7 13:56:44 EST 2007 x86_64 x86_64 x86_64 GNU/Linux

　　看readme文档中确认系统内核是否受到支持。

　　安装SDD

　　rpm -ivh IBMsdd-1.6.3.0-8.x86_64.rhel4.rpm

　　启动SDD

　　[root@localhost /]# sdd start

　　如果提示内核不支持，查看下驱动的readme确认，安装受支持的内核。

　　启动成功之后使用lsvpcfg命令查看vpath

　　[root@localhost /]# lsvpcfg

　　000 vpatha ( 252, 0) 75MW0012308 = 6005076308ffc6e80000000000002308 = /dev/sdb /dev/sdi /dev/sdp /dev/sdw

　　001 vpathb ( 252, 64) 75MW0012309 = 6005076308ffc6e80000000000002309 = /dev/sdc /dev/sdj /dev/sdq /dev/sdx

　　002 vpathc ( 252, 12 75MW0012409 = 6005076308ffc6e80000000000002409 = /dev/sdd /dev/sdk /dev/sdr /dev/sdy

　　003 vpathd ( 252, 192) 75MW001240A = 6005076308ffc6e8000000000000240a = /dev/sde /dev/sdl /dev/sds /dev/sdz

　　004 vpathe ( 252, 256) 75MW0012509 = 6005076308ffc6e80000000000002509 = /dev/sdf /dev/sdm /dev/sdt /dev/sdaa

　　005 vpathf ( 252, 320) 75MW0012609 = 6005076308ffc6e80000000000002609 = /dev/sdg /dev/sdn /dev/sdu /dev/sdab

　　006 vpathg ( 252, 384) 75MW0012709 = 6005076308ffc6e80000000000002709 = /dev/sdh /dev/sdo /dev/sdv /dev/sdac 配置磁盘

　　创建PV [root@localhost /]# pvcreate /dev/vpatha Device /dev/vpatha not found (or ignored by filtering). 需要修改/etc/lvm/lvm.conf来修正该错误

　　[root@localhost /]# vi /etc/lvm/lvm.conf

　　找到

　　# types = [ "fd", 16 ]

　　修改成

　　types = [ "vpath", 16 ]

　　保存退出之后就可以成功创建PV了。

　　创建好PV的时候可能会遇到下面问题

　　Found duplicate PV 1XlJrZHnI49tTtHVvwe7cXZ0cATNFTxw: using /dev/sdak not /dev/vpatha

　　需要修改/etc/lvm/lvm.conf来修正该错误

　　[root@localhost /]# vi /etc/lvm/lvm.conf

　　找到filter =，修改为：

　　filter = [ "a/vpath[a-z]*/", "a/sda2/", "r/.*/" ]

　　保存推出后lvdisplay两次就不会报错了。

　　[root@localhost /]# pvdisplay

　　— Physical volume —

　　PV Name /dev/sda2

　　VG Name rootvg

　　PV Size 135.87 GB / not usable 29.25 MB

　　Allocatable yes

　　PE Size (KByte) 32768

　　Total PE 4347

　　Free PE 3597

　　Allocated PE 750

　　PV UUID h6WAjn-NrcC-LNKL-MSe0-M1Lq-bNeh-VbKFxx

　　— NEW Physical volume —

　　PV Name /dev/vpatha

　　VG Name

　　PV Size 150.00 GB

　　Allocatable NO

　　PE Size (KByte) 0

　　Total PE 0

　　Free PE 0

　　Allocated PE 0

　　PV UUID PW9B2K-lZMw-YuFX-lLVq-9Wzo-K6tm-KLX5kQ

　　— NEW Physical volume —

　　PV Name /dev/vpathe

　　VG Name

　　PV Size 150.00 GB

　　Allocatable NO

　　PE Size (KByte) 0

　　Total PE 0

　　Free PE 0

　　Allocated PE 0

　　PV UUID Knd0Dg-rWN2-8L3A-EG09-rHIn-s3bf-w256M0

　　— NEW Physical volume —

　　PV Name /dev/vpathb

　　VG Name

　　PV Size 150.00 GB

　　Allocatable NO

　　PE Size (KByte) 0

　　Total PE 0

　　Free PE 0

　　Allocated PE 0

　　PV UUID qrVeSD-lecV-dOvZ-Y911-tQ4C-uj42-UdeNXE

　　— NEW Physical volume —

　　PV Name /dev/vpathf

　　VG Name

　　PV Size 150.00 GB

　　Allocatable NO

　　PE Size (KByte) 0 Total PE 0 Free PE 0 Allocated PE 0 PV UUID BcZjnN-3kpd-lXyf-MGog-JTbK-Vu0M-DaioOd — NEW Physical volume — PV Name /dev/vpathc VG Name PV Size 150.00 GB Allocatable NO PE Size (KByte) 0 Total PE 0 Free PE 0 Allocated PE 0 PV UUID ug3yuI-3UNm-1pKo-eq2c-10Vn-O1Aj-zIQegw — NEW Physical volume — PV Name /dev/vpathg VG Name PV Size 150.00 GB Allocatable NO PE Size (KByte) 0 Total PE 0 Free PE 0 Allocated PE 0 PV UUID ylxC2a-5CM1-DAZF-3nGd-Ox0L-wiMX-UNSxHg — NEW Physical volume — PV Name /dev/vpathd VG Name PV Size 150.00 GB Allocatable NO PE Size (KByte) 0 Total PE 0 Free PE 0 Allocated PE 0 PV UUID k19Lx9-MPq5-iQGp-XjIY-Mf4E-EGuJ-4jwMKp 创建VG vgcreate dzvg /dev/vpatha /dev/vpathb /dev/vpathc /dev/vpathd /dev/vpathe /dev/vpathf /dev/vpathg [root@localhost /]# vgdisplay — Volume group — VG Name rootvg System ID Format lvm2 Metadata Areas 1 Metadata Sequence No 15 VG Access read/write VG Status resizable MAX LV 0 Cur LV 6 Open LV 6 Max PV 0 Cur PV 1 Act PV 1 VG Size 135.84 GB PE Size 32.00 MB Total PE 4347 Alloc PE / Size 750 / 23.44 GB Free PE / Size 3597 / 112.41 GB VG UUID T710ZC-BJ5u-2tuS-X9hU-OPRC-0A7Y-BR9tP3 — Volume group — VG Name dzvg System ID Format lvm2 Metadata Areas 7 Metadata Sequence No 1 VG Access read/write VG Status resizable MAX LV 0 Cur LV 0 Open LV 0 Max PV 0 Cur PV 7 Act PV 7 VG Size 1.03 TB PE Size 4.00 MB Total PE 268793 Alloc PE / Size 0 / 0 Free PE / Size 268793 / 1.03 TB VG UUID Xn5oLt-CXUD-oQJJ-oGVT-aizU-1fxs-EIFGuS 在另外一台服务器上安装SDD，修改lvm.conf文件，启动SDD，运行pvscan，vgscan，或者重新启动，就可以看到这些vpath和VG了，无需再建。 Share/Save

hefan

靠。。刚看到这个资料：

RHEL 5.3 multipath support
Red Hat Enterprise Linux versions 4 and older supported IBM SDD (Subsystem Device
Driver) multipath solution. RHEL 5 and higher only support native multipathing included in the
operating system: Device Mapper Multipath (DMMP) module

hefan

查了 半天资料，测试了一圈，大概是清楚了。

先说一下我的环境，主机是IBM的BladeCentral H的刀片服务器，通过2个内置交换机连接到IBM的B24交换机，B24和DS8100连接。
我原来是数据库环境搭建在刀片上的硬盘上，现在需要迁移到DS8100上。

IBM的工程师把DS8100划好盘后就走了。

我翻了半天资料，尝试了一下，好在刀片的环境可以重启，大概流程如下：

1、重启服务器
2、fdisk -l
能看到新的sdn了。
Disk /dev/sdb: 107.3 GB, 107374182400 bytes
255 heads, 63 sectors/track, 13054 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/sdb doesn't contain a valid partition table

Disk /dev/sdc: 107.3 GB, 107374182400 bytes
255 heads, 63 sectors/track, 13054 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

Disk /dev/sdc doesn't contain a valid partition table

以上sdb和sdc就是通过两个控制器看到的同一个LUN
（我要检查一下，按这个结果看来B24和DS8100之间没有交叉互联啊，如果交叉了应该是显示4条路径的，上班的时候试一试）

3.下载最新的multipath.conf
去IBM网站下载了支持DS8000的multipath.conf
其实也就是多了下面的几句话：

# These are the default settings for 2107 (IBM DS8000)
# Uncomment them if needed on this system
    device {
        vendor                   "IBM"
        product                  "2107900"
        path_grouping_policy     group_by_serial
    }
下载该文件到/etc目录下，覆盖原来的文件。
4./sbin/scsi_id -g -u -s /block/sdb
得到sdb的wwid号
36005076309ffc2e70000000000000011

修改/etc/multipath.conf中的multipath别名部分，改成如下所示

multipaths {
    multipath {
        wwid 36005076309ffc2e70000000000000011
        alias IBM-DS8000
    }
}
以上将wwid用IBM-DS8000替代，缺省的是mpathn。

5.重新生成多路径
multipath -F  清除旧的多路径
multipath -v2 生成多路径
multipath -ll   显示多路径
结果如下所示：
IBM-DS8000 (36005076309ffc2e70000000000000011) dm-0 IBM,2107900
[size=100G][features=1 queue_if_no_path][hwhandler=0][rw]
\_ round-robin 0 [prio=2][active]
\_ 1:0:0:0 sdb 8:16  [active][ready]
\_ 2:0:0:0 sdc 8:32  [active][ready]

检查/dev/mapper，已经有了IBM-DS8000目录。

6.接下来的事情就是简单的了。
pvcreate /dev/mapper/IBM-DS8000  创建pv
vgcreate data_vg /dev/mapper/IBM-DS8000 创建vg：data_vg
lvcreate -L 99.99G -n data_lv datavg  创建lv： data_lv

mke2fs -j /dev/data_vg/data_lv  用ext3方式格式化
mount /dev/data_vg/data_lv  /data2  mount到/data2目录

修改etc/fstab