VxVM的性能问题

mike79

wdbj 发表于 2012-01-06 14:52
你不信就算了，但是我建议你还是试试。1MB的I/O落到两个盘上才真正能充分利用stripe的优势，你4个盘做s ...

这个原理我知道。但是这个方法的弊端就是单个磁盘的IO性能没有充分发挥。其实对于单个磁盘而言，只要单个写操作数据量不超过LTG，也就是能在一个IO内完成，那么是写入256KB、512KB或者1MB，时间相差不是很大。但是消耗的IO却相差很远。

mike79

wdbj 发表于 2012-01-06 15:16
唉，你不测就算了，说实话这种测试我做过无数遍了，我能非常确定你的IO慢的问题在哪，既然你不肯测，我 ...

你说的这种方法提升写性能我能够理解，但这不是我要的那种。测试过程中只有我一个人在用，可以占用全部IO，数据会很好看。但是实际环境中IO并发一旦上去的话，stripe size太小的弊端就出现了。我以前也做过类似测试，最后得到一个经验就是stripe size是LTG的1~4倍比较合适。

另外刚刚在一台测试机上试了下，LTG Size是1MB。因为是单盘，没法做条带化，但是可以间接的说明些问题：
root@blade1[/tmp]#time dd if=/dev/zero of=/dev/rlvtest bs=1m count=5000  
5000+0 records in.
5000+0 records out.

real    1m13.61s
user    0m0.01s
sys     0m1.78s
root@blade1[/tmp]#time dd if=/dev/zero of=/dev/rlvtest bs=512K count=5000
5000+0 records in.
5000+0 records out.

real    0m51.40s
user    0m0.01s
sys     0m0.92s
root@blade1[/tmp]#time dd if=/dev/zero of=/dev/rlvtest bs=512K count=10000
10000+0 records in.
10000+0 records out.

real    1m43.05s
user    0m0.03s
sys     0m1.85s

mike79

wdbj 发表于 2012-01-06 15:16
唉，你不测就算了，说实话这种测试我做过无数遍了，我能非常确定你的IO慢的问题在哪，既然你不肯测，我 ...

你说的这种方法提升写性能我能够理解，但这不是我要的那种。测试过程中只有我一个人在用，可以占用全部IO，数据会很好看。但是实际环境中IO并发一旦上去的话，stripe size太小的弊端就出现了。我以前也做过类似测试，最后得到一个经验就是stripe size是LTG的1~4倍比较合适。

另外刚刚在一台测试机上试了下，LTG Size是1MB。因为是单盘，没法做条带化，但是可以间接的说明些问题：
root@blade1[/tmp]#time dd if=/dev/zero of=/dev/rlvtest bs=1m count=5000  
5000+0 records in.
5000+0 records out.

real    1m13.61s
user    0m0.01s
sys     0m1.78s
root@blade1[/tmp]#time dd if=/dev/zero of=/dev/rlvtest bs=512K count=5000
5000+0 records in.
5000+0 records out.

real    0m51.40s
user    0m0.01s
sys     0m0.92s
root@blade1[/tmp]#time dd if=/dev/zero of=/dev/rlvtest bs=512K count=10000
10000+0 records in.
10000+0 records out.

real    1m43.05s
user    0m0.03s
sys     0m1.85s

mike79

无牙 发表于 2012-01-06 15:51
你有没有对比过用LVM和用VxVM时dmp的i/o策略是一样的吗？都是minimumq吗？

我没调整过，应该都是缺省值

mike79

wdbj 发表于 2012-01-06 15:47
你能看到256k的stripe unit和2m的stripe unit在做一个单线程连续写的IO时的速度差别有多大

我不是要单独追求MBPS，还要考虑IOPS。你这个方法以数倍的IOPS为代价，但是并没有获得相同倍数的MBPS，这不是我所想要的方法。
PS 我节后再做个测试看看。我怀疑其实stripe size设置成256KB也未必有效。因为读操作是正常的，不论是VxVM还是LVM都可以到100MBPS以上。