一个奇怪的多路径问题
本帖最后由 tonyzhou_cn 于 2013-05-22 10:49 编辑环境：linux +eva8000,使用linux自带的多路径软件
multipatch -ll 查询到的多路径信息：
data02 (3600508b4000552390009a000003b0000) dm-11 HP,HSV210
size=100G features='1 queue_if_no_path' hwhandler='0' wp=rw
|-+- policy='round-robin 0' prio=50 status=active
| |- 3:0:0:7sdh8:112active ready running
| |- 4:0:1:7sdbd 67:112 active ready running
| `- 4:0:3:7sdcb 68:240 active ready running
`-+- policy='round-robin 0' prio=10 status=enabled
|- 3:0:1:7sdt65:48active ready running
|- 3:0:2:7sdaf 65:240 active ready running
|- 4:0:0:7sdar 66:176 active ready running
`- 4:0:2:7sdbp 68:48active ready running
iostat -d 3 10查到的流量
# iostat -d 3 10
Linux 2.6.39-200.24.1.el6uek.x86_64 (cqggdb1) 05/22/2013 _x86_64_ (80 CPU)
Device: tps Blk_read/s Blk_wrtn/s Blk_read Blk_wrtn
sdh 11.35 266.58 437.61 91278211149840339
sdj 10.85 239.23 448.68 81913506153630533
sdl 9.87 215.25 440.14 73704624150708275
sdi 9.66 210.61 437.49 72115039149800729
sdk 10.09 211.68 441.75 72479708151259170
在使用ORACLE的IMP导数据的时候Blk_wrtn/s可以到达40000-50000 但是之前查看的流量都跑在DM开头的路径，这个路径在使用ORACLE的IMP导数据的最多能达到6000-7000，相差7-8倍。
dm-11 0.01 2.99 0.00 1022545 0
dm-12 0.01 3.81 0.00 1305169 0
dm-13 0.01 5.07 0.00 1735249 0
dm-14 0.01 3.66 0.00 1251921 0
问题：
当时测试数据导入导出的时候，发现很慢，偶然一次重启服务后，流量转移到SD开头的路径，速度跑得飞快。很奇怪。
所以我想问的是：
1、DM开头的路径和SD开头的路径有什么关系。（如果没有关系，那有可能是光纤衰减的问题？） 你觉得DM*和SD*是什么关系呢？是不是类似逻辑和物理的关系。
另外40000-50000 这个数值换算下接近3GB/S，是不是真实的呢？
光纤衰减如果是在有效距离内先不要考虑。 回复 2# tech坦克
DM-*和SD* 什么关系，我也不清楚，所以请高手回答一下，上面忘记写了一个"?"了
至于你说的是否真实性，我刚刚翻了一下操作LOG，具体换算我不清楚，还想请教你，但我这里可以截图给你看，这个速度是建表空间的时的IO，导数据的速度慢一些，最高只能达到12000左右。
因为搭建环境时是使用的二手光纤，也不晓得同事从哪里找来的，所以才怀疑。
dm全称device-mapper，其实就是一个对设备的逻辑映射，不管是LVM，软raid0、1等、multipath都可以用device-mapper的规则来生成映射，在Linux里都可以用dm来实现。楼主用HP的存储，使用系统自带的DM-MULTIPATH多路径软件，DM-MULTIPATH会把存储映射过来的LUN和路径汇聚成DM逻辑设备。假设有1个LUN，过来有4个通道，那么这4个通道过来的LUN就会被汇聚成1个逻辑设备。HP比较懒，貌似没提供多路径软件，如果路径和LUN比较多，Linux的sdx会很蛋疼，从sda一直排下去，最后出现什么sdxx这样的磁盘标识，如果再对LUN做下分区，dm也会跟着一直生成下去，最后只能从一堆输出里面去找各种映射关系。还是喜欢商业的多路径。虽然multipath配合udev也能搞定这些，但是太麻烦了。 回复 4# milujite
谢谢回复！！
那你的意思是，DM-* 和SD* 都是映射之后的路径，DM-*是聚合后逻辑的路径，SD*是未聚合的路径，和速度是没有任何联系，是不是这样呢，还请大师指点一下。 tonyzhou_cn 发表于 2013-05-25 16:29 static/image/common/back.gif
回复 4# milujite
谢谢回复！！
SD*不是映射后的路径，SD是存储的LUN+一个路径映射到主机上生成的设备，所以如果有4个路径的话，一个LUN映射过来就有4个SD设备，而DM-MULTIPATH会把这些同个LUN的所有路径聚合起来形成一个逻辑设备。可以参考下我发的附件。看下你就明白了。
回复 6# milujite
谢谢！！ sd*应该在服务器本地可以视为物理硬盘，md*在服务器本地视为逻辑硬盘，我记得应该是可以在rhel多路径配置里屏蔽物理硬盘的显示，我瞎说的，不知道是否正确 3ks for sharing 学习一下，估计以后会用到linux平台的多路径
页:
[1]
2