免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 5393 | 回复: 10

[存储网络] 一个奇怪的多路径问题 [复制链接]

论坛徽章:
0
发表于 2013-05-22 10:45 |显示全部楼层
本帖最后由 tonyzhou_cn 于 2013-05-22 10:49 编辑

环境:linux +eva8000,使用linux自带的多路径软件
multipatch -ll 查询到的多路径信息:
data02 (3600508b4000552390009a000003b0000) dm-11 HP,HSV210
size=100G features='1 queue_if_no_path' hwhandler='0' wp=rw
|-+- policy='round-robin 0' prio=50 status=active
| |- 3:0:0:7  sdh  8:112  active ready running
| |- 4:0:1:7  sdbd 67:112 active ready running
| `- 4:0:3:7  sdcb 68:240 active ready running
`-+- policy='round-robin 0' prio=10 status=enabled
  |- 3:0:1:7  sdt  65:48  active ready running
  |- 3:0:2:7  sdaf 65:240 active ready running
  |- 4:0:0:7  sdar 66:176 active ready running
  `- 4:0:2:7  sdbp 68:48  active ready running

iostat -d 3 10查到的流量
[root@gsdb1 ~]# iostat -d 3 10
Linux 2.6.39-200.24.1.el6uek.x86_64 (cqggdb1)   05/22/2013      _x86_64_        (80 CPU)
Device:           tps   Blk_read/s   Blk_wrtn/s   Blk_read       Blk_wrtn
sdh              11.35       266.58       437.61   91278211  149840339
sdj              10.85       239.23       448.68   81913506  153630533
sdl               9.87       215.25       440.14   73704624  150708275
sdi               9.66       210.61       437.49   72115039  149800729
sdk             10.09       211.68     441.75   72479708  151259170

在使用ORACLE的IMP导数据的时候Blk_wrtn/s可以到达40000-50000 但是之前查看的流量都跑在DM开头的路径,这个路径在使用ORACLE的IMP导数据的最多能达到6000-7000,相差7-8倍。
dm-11             0.01         2.99         0.00    1022545          0
dm-12             0.01         3.81         0.00    1305169          0
dm-13             0.01         5.07         0.00    1735249          0
dm-14             0.01         3.66         0.00    1251921          0

问题:
当时测试数据导入导出的时候,发现很慢,偶然一次重启服务后,流量转移到SD开头的路径,速度跑得飞快。很奇怪。
所以我想问的是:
1、DM开头的路径和SD开头的路径有什么关系。(如果没有关系,那有可能是光纤衰减的问题?)

论坛徽章:
0
发表于 2013-05-22 14:17 |显示全部楼层
你觉得DM*和SD*是什么关系呢?是不是类似逻辑和物理的关系。
另外40000-50000 这个数值换算下接近3GB/S,是不是真实的呢?
光纤衰减如果是在有效距离内先不要考虑。

论坛徽章:
0
发表于 2013-05-22 14:36 |显示全部楼层
回复 2# tech坦克

DM-*  和SD* 什么关系,我也不清楚,所以请高手回答一下,上面忘记写了一个"?"了

至于你说的是否真实性,我刚刚翻了一下操作LOG,具体换算我不清楚,还想请教你,但我这里可以截图给你看,这个速度是建表空间的时的IO,导数据的速度慢一些,最高只能达到12000左右。
QQ图片20130522142654.jpg
因为搭建环境时是使用的二手光纤,也不晓得同事从哪里找来的,所以才怀疑。

论坛徽章:
7
双子座
日期:2013-09-09 15:55:31CU大牛徽章
日期:2013-09-18 15:22:06CU大牛徽章
日期:2013-09-18 15:22:20CU大牛徽章
日期:2013-09-18 15:22:26CU大牛徽章
日期:2013-09-18 15:22:31CU大牛徽章
日期:2013-09-18 15:22:37CU大牛徽章
日期:2013-09-18 15:22:46
发表于 2013-05-23 11:16 |显示全部楼层
dm全称device-mapper,其实就是一个对设备的逻辑映射,不管是LVM,软raid0、1等、multipath都可以用device-mapper的规则来生成映射,在Linux里都可以用dm来实现。楼主用HP的存储,使用系统自带的DM-MULTIPATH多路径软件,DM-MULTIPATH会把存储映射过来的LUN和路径汇聚成DM逻辑设备。假设有1个LUN,过来有4个通道,那么这4个通道过来的LUN就会被汇聚成1个逻辑设备。HP比较懒,貌似没提供多路径软件,如果路径和LUN比较多,Linux的sdx会很蛋疼,从sda一直排下去,最后出现什么sdxx这样的磁盘标识,如果再对LUN做下分区,dm也会跟着一直生成下去,最后只能从一堆输出里面去找各种映射关系。还是喜欢商业的多路径。虽然multipath配合udev也能搞定这些,但是太麻烦了。

论坛徽章:
0
发表于 2013-05-25 16:29 |显示全部楼层
回复 4# milujite

谢谢回复!!
那你的意思是,DM-* 和SD* 都是映射之后的路径,DM-*是聚合后逻辑的路径,SD*是未聚合的路径,和速度是没有任何联系,是不是这样呢,还请大师指点一下。

论坛徽章:
7
双子座
日期:2013-09-09 15:55:31CU大牛徽章
日期:2013-09-18 15:22:06CU大牛徽章
日期:2013-09-18 15:22:20CU大牛徽章
日期:2013-09-18 15:22:26CU大牛徽章
日期:2013-09-18 15:22:31CU大牛徽章
日期:2013-09-18 15:22:37CU大牛徽章
日期:2013-09-18 15:22:46
发表于 2013-05-28 09:39 |显示全部楼层
tonyzhou_cn 发表于 2013-05-25 16:29
回复 4# milujite

谢谢回复!!


SD*不是映射后的路径,SD是存储的LUN+一个路径映射到主机上生成的设备,所以如果有4个路径的话,一个LUN映射过来就有4个SD设备,而DM-MULTIPATH会把这些同个LUN的所有路径聚合起来形成一个逻辑设备。可以参考下我发的附件。看下你就明白了。


Red_Hat_Enterprise_Linux-5-DM_Multipath-zh-CN.pdf (430.74 KB, 下载次数: 81)

论坛徽章:
0
发表于 2013-05-28 12:53 |显示全部楼层
回复 6# milujite


   谢谢!!

论坛徽章:
0
发表于 2013-05-28 13:01 |显示全部楼层
sd*应该在服务器本地可以视为物理硬盘,md*在服务器本地视为逻辑硬盘,我记得应该是可以在rhel多路径配置里屏蔽物理硬盘的显示,我瞎说的,不知道是否正确

论坛徽章:
0
发表于 2013-06-03 16:35 |显示全部楼层
3ks for sharing

论坛徽章:
202
15-16赛季CBA联赛之北控
日期:2020-01-03 11:02:38黑曼巴
日期:2017-12-11 12:52:0315-16赛季CBA联赛之浙江
日期:2017-12-28 14:13:3815-16赛季CBA联赛之广夏
日期:2018-03-01 16:41:0915-16赛季CBA联赛之青岛
日期:2018-08-08 11:17:1915-16赛季CBA联赛之江苏
日期:2018-08-08 14:12:3815-16赛季CBA联赛之江苏
日期:2018-09-17 13:50:1315-16赛季CBA联赛之天津
日期:2018-12-27 08:57:2015-16赛季CBA联赛之广夏
日期:2019-01-03 14:18:1715-16赛季CBA联赛之吉林
日期:2017-12-11 12:51:5915-16赛季CBA联赛之天津
日期:2017-10-30 09:57:3515-16赛季CBA联赛之山西
日期:2017-01-11 15:00:12
发表于 2013-06-04 10:12 |显示全部楼层
学习一下,估计以后会用到linux平台的多路径
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会

【架构革新 高效可控】2020年12月21日-23日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP