免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
1234下一页
最近访问板块 发新帖
查看: 8501 | 回复: 37

[其他] VxVM的性能问题 [复制链接]

论坛徽章:
12
CU大牛徽章
日期:2013-09-18 15:20:4815-16赛季CBA联赛之同曦
日期:2016-02-01 20:28:25IT运维版块每日发帖之星
日期:2015-11-10 06:20:00操作系统版块每日发帖之星
日期:2015-10-28 06:20:002015亚冠之塔什干棉农
日期:2015-06-04 11:41:56丑牛
日期:2014-05-10 16:11:33技术图书徽章
日期:2013-09-23 13:25:58CU大牛徽章
日期:2013-09-18 15:21:17CU大牛徽章
日期:2013-09-18 15:21:12CU大牛徽章
日期:2013-09-18 15:21:06CU大牛徽章
日期:2013-09-18 15:20:58数据库技术版块每日发帖之星
日期:2016-02-08 06:20:00
发表于 2011-12-30 14:12 |显示全部楼层
本帖最后由 mike79 于 2011-12-30 14:29 编辑

环境是p650+AIX6106+VxVM5.1SP1RP1+2台2Gbps SAN交换机+CX600。p650的2块2Gbps HBA卡连接2台SAN交换机,CX600的每个控制器上各有2个2Gbps端口分别连接2台SAN交换机

CX600建了16个RAID5,每个RAID5中有8块磁盘。通过vxdmp聚合后,p650就识别到16个磁盘,每个磁盘有2条路径,也就是有2个hdisk。这些都很正常。
通过VxVM建立dg和volume,volume做条带化,跨4块磁盘,stripe size是2M。dd测试发现写volume很慢,才40MBPS。在排除了SAN交换机和存储控制器以及RAID的性能瓶颈之后,问题集中到VxVM设置上。

调整了vxio的vol_maxio和vol_iomemmxplsz参数,分别调整为2M和40M,没有效果。
将所有磁盘退出VxVM控制,建立LVM vg和lv。lv同样做条带化,跨4块磁盘,stripe size是2M。dd测试发现写lv可以将近100MBPS。

用LVM的一个问题是没有多路径。如果安装PowerPath的话,担心和VxVM的DMP有冲突,也不想卸载VxVM。看到DMP支持LVM,就修改dmp_native_support参数为on,果然可以使用DMP聚合后的设备名建立vg。
在vg中建立条带化的LV,重新测试速度,还是可以到100MBPS。

至此,可以确定性能问题应该是在VxVM层面。但是不知道问题在哪里。

论坛徽章:
0
发表于 2011-12-31 16:24 |显示全部楼层
    建立的DG(VG)是用同样的LUN吗,如果不一样,测试结果难免产生差异性,存储底层LUN的选择也难免对IO性能产生影响!

论坛徽章:
0
发表于 2011-12-31 16:50 |显示全部楼层
这得看具体的dd命令了

论坛徽章:
12
CU大牛徽章
日期:2013-09-18 15:20:4815-16赛季CBA联赛之同曦
日期:2016-02-01 20:28:25IT运维版块每日发帖之星
日期:2015-11-10 06:20:00操作系统版块每日发帖之星
日期:2015-10-28 06:20:002015亚冠之塔什干棉农
日期:2015-06-04 11:41:56丑牛
日期:2014-05-10 16:11:33技术图书徽章
日期:2013-09-23 13:25:58CU大牛徽章
日期:2013-09-18 15:21:17CU大牛徽章
日期:2013-09-18 15:21:12CU大牛徽章
日期:2013-09-18 15:21:06CU大牛徽章
日期:2013-09-18 15:20:58数据库技术版块每日发帖之星
日期:2016-02-08 06:20:00
发表于 2011-12-31 22:49 |显示全部楼层
一样的LUN,一样的dd命令。
就是用相同的一组LUN分两次测试,一次建立dg,另一次建立vg。甚至dg上建立volume和vg上建立lv都是类似的,条带化跨4个LUN,stripe size为2M

论坛徽章:
0
发表于 2012-01-01 12:03 |显示全部楼层
dd的io size指定的多大,读写双方是否有文件系统

论坛徽章:
12
CU大牛徽章
日期:2013-09-18 15:20:4815-16赛季CBA联赛之同曦
日期:2016-02-01 20:28:25IT运维版块每日发帖之星
日期:2015-11-10 06:20:00操作系统版块每日发帖之星
日期:2015-10-28 06:20:002015亚冠之塔什干棉农
日期:2015-06-04 11:41:56丑牛
日期:2014-05-10 16:11:33技术图书徽章
日期:2013-09-23 13:25:58CU大牛徽章
日期:2013-09-18 15:21:17CU大牛徽章
日期:2013-09-18 15:21:12CU大牛徽章
日期:2013-09-18 15:21:06CU大牛徽章
日期:2013-09-18 15:20:58数据库技术版块每日发帖之星
日期:2016-02-08 06:20:00
发表于 2012-01-01 13:08 |显示全部楼层
iosize测试过8M/16M/32M,VxVM基本维持在40MBPS,LVM维持在100MBPS左右,都没有很大变化。
测试的一方使用裸设备,另一方使用/dev/zero或者/dev/null。

论坛徽章:
0
发表于 2012-01-01 14:12 |显示全部楼层
mike79 发表于 2012-01-01 13:08
iosize测试过8M/16M/32M,VxVM基本维持在40MBPS,LVM维持在100MBPS左右,都没有很大变化。
测试的一方使用 ...


你的io size 那么大,但vxvm最大的限制你设成了2mb, 当io 落到vxvm层,都被分割成2mb的,也就是说vxvm以2m,2m,2m,2m这么写,你的stripe unit 也是2m,那对于dd这个单线程的玩意,这其实和非stripe 没区别了,lvm 没有大小限制,每个io 下去是8m, 8m,8m,8m,每次都利用到4个盘一起干活,当然快了

你把dd的bs 用2m,保证lvm也慢下来

论坛徽章:
12
CU大牛徽章
日期:2013-09-18 15:20:4815-16赛季CBA联赛之同曦
日期:2016-02-01 20:28:25IT运维版块每日发帖之星
日期:2015-11-10 06:20:00操作系统版块每日发帖之星
日期:2015-10-28 06:20:002015亚冠之塔什干棉农
日期:2015-06-04 11:41:56丑牛
日期:2014-05-10 16:11:33技术图书徽章
日期:2013-09-23 13:25:58CU大牛徽章
日期:2013-09-18 15:21:17CU大牛徽章
日期:2013-09-18 15:21:12CU大牛徽章
日期:2013-09-18 15:21:06CU大牛徽章
日期:2013-09-18 15:20:58数据库技术版块每日发帖之星
日期:2016-02-08 06:20:00
发表于 2012-01-01 14:26 |显示全部楼层
wdbj 发表于 2012-01-01 14:12
lvm 没有大小限制,每个io 下去是8m, 8m,8m,8m,每次都利用到4个盘一起干活,当然快了

这个分析我不太认同。LVM的IO有限制的,就是VG的LTG size属性,往该VG的PV中写入数据时,IO Size不会超过这个值。而这个值实际上是PV的属性决定的,VG只是在所有的PV中选择最小值。在VxVM测试时候,简单点用topas看的话,也可以看到TPS差不多就是40,那也就是1MB/IO。所以在这点上VxVM和LVM相差不大。
另外我也用bs=2m测试了,LVM中还是可以到100MBPS,TPS和bs=32m的测试也接近。

论坛徽章:
0
发表于 2012-01-01 14:34 |显示全部楼层
本帖最后由 wdbj 于 2012-01-01 14:37 编辑
mike79 发表于 2012-01-01 14:26
这个分析我不太认同。LVM的IO有限制的,就是VG的LTG size属性,往该VG的PV中写入数据时,IO Size不会超过 ...


你确定你用bs 2m测过?那你试试把vxvm 的stripe unit 改成512k试试吧,dd  bs还用2m

论坛徽章:
12
CU大牛徽章
日期:2013-09-18 15:20:4815-16赛季CBA联赛之同曦
日期:2016-02-01 20:28:25IT运维版块每日发帖之星
日期:2015-11-10 06:20:00操作系统版块每日发帖之星
日期:2015-10-28 06:20:002015亚冠之塔什干棉农
日期:2015-06-04 11:41:56丑牛
日期:2014-05-10 16:11:33技术图书徽章
日期:2013-09-23 13:25:58CU大牛徽章
日期:2013-09-18 15:21:17CU大牛徽章
日期:2013-09-18 15:21:12CU大牛徽章
日期:2013-09-18 15:21:06CU大牛徽章
日期:2013-09-18 15:20:58数据库技术版块每日发帖之星
日期:2016-02-08 06:20:00
发表于 2012-01-01 14:36 |显示全部楼层
wdbj 发表于 2012-01-01 14:34
你确定你用bs 2m测过?那你试试把vxvm 的stripe unit 改成512k试试吧

我刚测过用bs=2m。现在上面已经有数据了,就不折腾它了。
PS 现在还这么热诚的回复技术帖子的,莫非也是在哪做年度处理之类的兄弟?
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会

【架构革新 高效可控】2020年12月21日-23日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP