VxVM的性能问题

wdbj

mike79 发表于 2012-01-06 15:32
你说的这种方法提升写性能我能够理解，但这不是我要的那种。测试过程中只有我一个人在用，可以占用全部IO ...

不多说，随手找了个机器做了个测试

SLESa0428@~>vxassist -g wldg make vol1 1g layout=striped ncol=4 alloc=wldgdisk05,wldgdisk06,wldgdisk11,wldgdisk12 stripeunit=2m
SLESa0428@~>time dd if=/dev/zero of=/dev/vx/rdsk/wldg/vol1 bs=2048k count=100
100+0 records in
100+0 records out

real    0m11.285s
user    0m0.000s
sys     0m0.036s

SLESa0428@~>vxassist -g wldg remove volume vol1
SLESa0428@~>vxassist -g wldg make vol1 1g layout=striped ncol=4 alloc=wldgdisk05,wldgdisk06,wldgdisk11,wldgdisk12 stripeunit=256k
SLESa0428@~>time dd if=/dev/zero of=/dev/vx/rdsk/wldg/vol1 bs=2048k count=100
100+0 records in
100+0 records out

real    0m6.127s
user    0m0.000s
sys     0m0.034s
SLESa0428@~>

wdbj

你能看到256k的stripe unit和2m的stripe unit在做一个单线程连续写的IO时的速度差别有多大

无牙

mike79 发表于 2012-01-06 14:37
加载ALS应该是在DMP层面解决的吧？这个问题我也考虑过，但是现在用DMP作为多路径软件，然后建立LVM VG，再 ...

你有没有对比过用LVM和用VxVM时dmp的i/o策略是一样的吗？都是minimumq吗？

mike79

无牙 发表于 2012-01-06 15:51
你有没有对比过用LVM和用VxVM时dmp的i/o策略是一样的吗？都是minimumq吗？

我没调整过，应该都是缺省值

mike79

wdbj 发表于 2012-01-06 15:47
你能看到256k的stripe unit和2m的stripe unit在做一个单线程连续写的IO时的速度差别有多大

我不是要单独追求MBPS，还要考虑IOPS。你这个方法以数倍的IOPS为代价，但是并没有获得相同倍数的MBPS，这不是我所想要的方法。
PS 我节后再做个测试看看。我怀疑其实stripe size设置成256KB也未必有效。因为读操作是正常的，不论是VxVM还是LVM都可以到100MBPS以上。

wdbj

mike79 发表于 2012-01-06 16:26
我不是要单独追求MBPS，还要考虑IOPS。你这个方法以数倍的IOPS为代价，但是并没有获得相同倍数的MBPS，这 ...

IO数没变啊兄弟，单盘的IO数是一样的，卷的IO数4x是因为使用了4个盘工作，既然你给这个卷分了4个盘，那让另外三个闲着不干活那不是浪费资源吗。
另外你如果非要保持2m的stripe Unit，把vol_maxio设成8m也能使速度提高，原理一样，但不推荐

wolfheader

根据老大们的建议
使用powerpath的时候可以到vxdiskadm把这几个盘的dmp排除掉

dd功能太弱了，试试iozone的-I测试directIO能更精确一点

spook

http://bbs.chinaunix.net/thread-1538453-1-1.html