VxVM的性能问题

taotao1240

回复 20# mike79


    会不会是这么种情况，你退出vx的控制，建立LVM，但是这种情况默认写缓存是WB，所以能达到100MB/s，但是你在VX的控制下，它默认建卷的时候，默认就是WT。你可以具体查看下写缓存的模式。比如在一个存储上，一块sata盘有80-90MB/s，但是一块移动硬盘只有30-40MB/s。

无牙

LZ有没有正确的加载ASL？ 如果这个不正确也会有类似的问题，是因为对控制处理上的问题。你有没有发现在CX控制器的日志中有控制器频繁切换的信息？

wdbj

其实我还是强烈建议LZ用 dd的512k的stripe unit建卷来试一下vxvm， 用time或timex来衡量时间，应能明确看到2m和512k的stripe unit的区别（保持8m的dd bs大小和2m的vol_maxio大小）

mike79

无牙 发表于 2012-01-06 11:19
LZ有没有正确的加载ASL？ 如果这个不正确也会有类似的问题，是因为对控制处理上的问题。你有没有发现在CX控 ...

加载ALS应该是在DMP层面解决的吧？这个问题我也考虑过，但是现在用DMP作为多路径软件，然后建立LVM VG，再dd测试写性能的话也依然可以到100MBPS。另外控制器日志我也看过，没发现有什么异常的。
我用vxdmpadm看流量，发现如果用VxVM的话，写操作的响应时间要20多ms，将近30ms，这个我觉得很奇怪。但是也不知道哪里有日志可以看问题在哪个环节。

mike79

wdbj 发表于 2012-01-06 11:29
其实我还是强烈建议LZ用 dd的512k的stripe unit建卷来试一下vxvm， 用time或timex来衡量时间，应能明确看到 ...

512K的stripe size用意何在？以LVM为例，因为LTG Size可以到1MB，如果stripe size为1M或者更大的话，那一个1MB的写操作只会落到一块盘上；但是如果stripe size为512KB的话，那1MB的写操作会落到两块盘上。多占用一倍的IO，可能只换来些微的性能提升，我不是很赞成这种做法。

wdbj

mike79 发表于 2012-01-06 14:43
512K的stripe size用意何在？以LVM为例，因为LTG Size可以到1MB，如果stripe size为1M或者更大的话，那一 ...

你不信就算了，但是我建议你还是试试。1MB的I/O落到两个盘上才真正能充分利用stripe的优势，你4个盘做stripe，以一个1MB的IO为例，如果stripe unit 是1MB，那么，需要一个IO搞定，但只有一个盘来处理这个IO，大小是1M； 但如果stripe unit是256k，会产生4个IO来完成这一笔，但这4个IO可是4个盘同时做的，而非第一个盘做完才第2个盘做，每一个盘只处理256K的IO，4个盘一起干活，当然要快，这就是stripe为什么快的原理

mike79

wdbj 发表于 2012-01-06 14:52
你不信就算了，但是我建议你还是试试。1MB的I/O落到两个盘上才真正能充分利用stripe的优势，你4个盘做s ...

这个原理我知道。但是这个方法的弊端就是单个磁盘的IO性能没有充分发挥。其实对于单个磁盘而言，只要单个写操作数据量不超过LTG，也就是能在一个IO内完成，那么是写入256KB、512KB或者1MB，时间相差不是很大。但是消耗的IO却相差很远。

wdbj

mike79 发表于 2012-01-06 15:12
这个原理我知道。但是这个方法的弊端就是单个磁盘的IO性能没有充分发挥。其实对于单个磁盘而言，只要单个 ...

唉，你不测就算了，说实话这种测试我做过无数遍了，我能非常确定你的IO慢的问题在哪，既然你不肯测，我也不说了

mike79

wdbj 发表于 2012-01-06 15:16
唉，你不测就算了，说实话这种测试我做过无数遍了，我能非常确定你的IO慢的问题在哪，既然你不肯测，我 ...

你说的这种方法提升写性能我能够理解，但这不是我要的那种。测试过程中只有我一个人在用，可以占用全部IO，数据会很好看。但是实际环境中IO并发一旦上去的话，stripe size太小的弊端就出现了。我以前也做过类似测试，最后得到一个经验就是stripe size是LTG的1~4倍比较合适。

另外刚刚在一台测试机上试了下，LTG Size是1MB。因为是单盘，没法做条带化，但是可以间接的说明些问题：
root@blade1[/tmp]#time dd if=/dev/zero of=/dev/rlvtest bs=1m count=5000  
5000+0 records in.
5000+0 records out.

real    1m13.61s
user    0m0.01s
sys     0m1.78s
root@blade1[/tmp]#time dd if=/dev/zero of=/dev/rlvtest bs=512K count=5000
5000+0 records in.
5000+0 records out.

real    0m51.40s
user    0m0.01s
sys     0m0.92s
root@blade1[/tmp]#time dd if=/dev/zero of=/dev/rlvtest bs=512K count=10000
10000+0 records in.
10000+0 records out.

real    1m43.05s
user    0m0.03s
sys     0m1.85s

mike79

wdbj 发表于 2012-01-06 15:16
唉，你不测就算了，说实话这种测试我做过无数遍了，我能非常确定你的IO慢的问题在哪，既然你不肯测，我 ...

你说的这种方法提升写性能我能够理解，但这不是我要的那种。测试过程中只有我一个人在用，可以占用全部IO，数据会很好看。但是实际环境中IO并发一旦上去的话，stripe size太小的弊端就出现了。我以前也做过类似测试，最后得到一个经验就是stripe size是LTG的1~4倍比较合适。

另外刚刚在一台测试机上试了下，LTG Size是1MB。因为是单盘，没法做条带化，但是可以间接的说明些问题：
root@blade1[/tmp]#time dd if=/dev/zero of=/dev/rlvtest bs=1m count=5000  
5000+0 records in.
5000+0 records out.

real    1m13.61s
user    0m0.01s
sys     0m1.78s
root@blade1[/tmp]#time dd if=/dev/zero of=/dev/rlvtest bs=512K count=5000
5000+0 records in.
5000+0 records out.

real    0m51.40s
user    0m0.01s
sys     0m0.92s
root@blade1[/tmp]#time dd if=/dev/zero of=/dev/rlvtest bs=512K count=10000
10000+0 records in.
10000+0 records out.

real    1m43.05s
user    0m0.03s
sys     0m1.85s