有大虾了解Linux下多路径设备怎样分区么？(device-mapper)

deadwind

server是单HBA卡，但storage是双控(OS是RHEL4.6)
所以划给server的lun在server上看到将是两块盘
安装device-mapper-multipath后，可以看到虚拟的设备

]# ls /dev/|grep dm
dm-0
dm-1
dm-2
dm-3
dm-4
dm-5
dm-6

]# multipath -ll
mpath14 (3600c0ff000d5765c03365a4801000000)
[size=1 GB][features="1 queue_if_no_path"][hwhandler="0"]
\_ round-robin 0 [active]
\_ 1:0:0:0     sda 8:0   [active][ready]
\_ 1:0:3:0     sde 8:64  [active][ready]

这个mpath14下的sda和sde事实上不同路径的一块盘(一个lun)

]# ls /dev/mapper/
mpath14

上面的dm-2也是指这两块盘，但不知道能不能对dm-2做fdisk分区并格式化
redhat官方一篇文档说：
使用 kpartx -a /dev/mapper/mpath#  或者 kpartx -a /dev/dm-#
使用kpartx -a /dev/dm-2(貌似后来发现不用这个命令效果一样)后用fdisk /dev/dm-2分区，结果看到

]# fdisk -l
Device Boot      Start         End      Blocks   Id  System
/dev/sda1               1        1022     1465006+  83  Linux

Device Boot      Start         End      Blocks   Id  System
/dev/sde1               1        1022     1465006+  83  Linux

Device Boot      Start         End      Blocks   Id  System
/dev/dm-2p1               1        1022     1465006+  83  Linux

ls /dev/mapper/
mpath14  mpath14p1

然后，加raw磁盘，修改/etc/sysconfig/rawdevices

/dev/raw/raw1    /dev/mapper/mpath14p1
或者
/dev/raw/raw1    /dev/dm-2p1

这个raw1是给oracle RAC做OCR的，但是装CRS到最后运行root.sh时候，OCR不过

有alibaba dba blog文章提醒
http://www.alidba.net/index.php/archives/71

“–root.sh错误解决
1.直接出现Failed to upgrade Oracle Cluster Registry configuration，观察$CRS_HOME/logs/{node}/alert*日志，
发现有not set 0等字样
解决：不要直接使用共享lun，如/dev/sdb,一定要fdisk分区”

那么，请问

1.device-mapper下的多路径设备怎样分区？
2.上面的操作有问题吗？那个raw1可以做RAC的OCR么

请高手指点，谢谢！

Magicloud

从现象看，你的hba（或驱动）不支持冗余链路，我看还是不要接第二链路了，免得设备识别什么的出麻烦。

deadwind

谢谢Magicloud

看了不少说法，比如现在是qlogic的HBA
linux下要支持多路径，通常3种方法
1. storage的多链路软件
2. 通用MPIO，linux下自然就是device-mapper-multipath
3. HBA卡的支持failover的driver

我现在使用的是第二种

jerrywjl

对多路径设备的分区应该用kpartx，不应该用fdisk。再有，裸设备服务不知道是否启动。
我个人感觉应该没有什么问题吧？

deadwind

谢谢jerrywjl指点

kpartx命令有用过，但没感觉到效果，估计是我不会用
执行过 kpartx -a /dev/dm-2
也用过fdisk /dev/dm-2，结果变出了一个/dev/dm-2p1的分区，但是ls /dev下面根本不存在
而且kpartx -a /dev/mapper/mpath*也用过
反正不管kpartx还是fdisk，之后可以看到分出来的区
其中dm-2p1    mpath16p1
还有sda1和sde1都出来了，但就不知道这能做raw设备吗？

另外，按你所说，我刚才检查了chkconfig，rawdevices的service是开机启动的

ljhb

multipath 设备可以分区，但是一般不建议分区，最好使用lvm直接把他加入pv，创建vg/lv

另外可以修改/etc/multipath.conf，增加一个alias

[ 本帖最后由 ljhb 于 2008-6-19 14:57 编辑 ]

jerrywjl

没听说过dm不能做裸设备。

jerrywjl

没听说过dm不能做裸设备。但我也没有试过。

hbwangting

OCR or Voting Disks都需要一个RAW设备，而/dev/dm-x or /dev/mapper/alias格式都是块设备，所以建议楼主装ORACLE时，把本地磁盘切2个出来绑定RAW，作为OCR or Voting Disks分区使用。

我搜索到一篇出自oracle的资料，Configuring udev and device mapper for Oracle RAC 10g Release 2 on RedHat RHEL4 and Oracle EL4，希望对楼主有用。

http://www.oracle.com/technology ... v-crs-asm%20rh4.pdf

deadwind

谢谢hbwangting

不过本地盘不能做OCR和VotingDisk哦

研究下你发的那个pdf，谢谢！