华为S5000存储关于RAID的选择比较

冬瓜头

读性能肯定比没有镜像情况下有提升，这一点不可置疑。但是你说的随机小io情况下，所得到的提升并不是因为他读取了同一个segment的镜像部分，而完全是由于磁盘数量多了，而不是将1拆开为两个0.5，这个盘读0.5，镜像盘读0.5，这样是得不偿失的，除非在大块连续io情况下，一个io中的数据可以被拆分因为io size很大。 随机小io提升很大的原因就是多个io并发了，还是上面那个例子。可能你说的意思和我说的是一样的，不知道你是不是指1被拆分为一半才导致提升的？

另外，写方面我也总结了一下：

    再来看写方面，同样上面的raid组，raid10上，抛开镜像过程是异步还是同步，全部按照同步镜像来算，也就是说写入一块盘则必须同步写入另一块盘。假设上层某时刻发来一组写io，1，6，3，4，5，7，8，raid10可以并发的io只有4个，也就是永远等于磁盘总数除以2. 再来看raid5，同样这组io，其可并发的是1到7，构成整条写，写效率大大高于raid10了。这个例子貌似对raid10不公平，我们先来看单一segment的io行为。单个segment写的情况下，raid10之上会产生两个实际segment的io，而raid5则对应了2个读和2个写的io，比raid10多了两个读。如果是两个segment的io，比如1，2，则raid10对应了4个写操作，raid5此时采用了读改写，即3个读3个写，比raid10多了3个读，少了一个写，依次类推，3个io情况下，raid10是6个写，raid5则是4个读，3个写，比raid10少了3个写，多了4个读。至此，raid5已经达到读改写和重构写持平态，io再多可以实现重构写，极端态下可以实现整条写，显然，重构写和整条写就比raid10高效多了。

然而，上述结果是基于小范围的随机，也就是一批io很大几率都分布到同一个条带中。如果上层的随机io离散度过大以至于分布到同一个条带的几率大大降低，此时，raid10的优势凸显，因为不管io离散度如何，raid10始终可以并发半数磁盘数的io。而raid5此时就要碰运气了，可并发几率大大降低，此时raid5性能与raid10相比就差别比较大了。


    综上所述，相同情况下，raid5的写操作总是小于等于raid10写操作，而读操作总是大于raid10，在高度随机写io的情况下，raid5读改写的几率最大，所以相比raid10多出了很多读操作，而在随机性不太高并且并发几率比较高的情况下，raid5重构写甚至整条写的几率大大增加，此时raid5效率与raid10接近。 加上读操作比写操作成本和效率更低，而且如
果考虑入cache的预读效果加成，总体来讲raid5与raid10实际使用中，在小范围随机io的情况下效果差别不是很大，如果考虑性价比，首选raid5. 如果写io离散度过大，此时raid5性能下降比较厉害了。优化的控制器会平衡io queue的大小，queue越大，就有更大的几率优化成并发io，但是延迟和开销却越大，queue越小，优化成并发io的几率越小，然而开销和延迟就越小。

[ 本帖最后由 冬瓜头 于 2009-7-28 09:43 编辑 ]

wyddg

to 冬瓜头：

我们都明确了一点，镜像后读性能会增加，但是关于增加的原因我还是有些疑问：

我的理解是镜像后的读并发不是针对一个segment的，而是针对不同segment的并发，就是不是

把1分为2个0.5，而是1和2同时并发读，随机小IO只需要分配到源卷和镜像卷并发即可，不需要拆

分，而顺序大IO如果要拆分也会浪费其他的资源，反而可能得不偿失，所以镜像后是针对随机小IO

的续性能增加明显而顺序大IO的增加并不明显。如果没有拆分或者分配读IO的负载均衡功能，镜像

后磁盘增加了，应该也不会增加读性能吧。

冬瓜头

是的，是这个意思。
iops会显著上升，不知道你在测试大块连续io的时候，是不是已经达到了环路的瓶颈而无法显现镜像的优势呢？

spook

在这里讨论这些…… NetApp的WFAL还号称同组数据同位置呢……

没有太大意义

wyddg

to spook：

我们讨论的是RAID镜像增强读性能的原因，与文件系统无关，如果你要说的是NetApp的增强型RAID 4，

那只是利用任意位置写入的特性规避了RAID 4的校验瓶颈，尽量整条写或者将相关数据尽量写入相近的位置，和我们讨论的内容

没有任何关系

[ 本帖最后由 wyddg 于 2009-7-28 14:22 编辑 ]

baif

原帖由 无牙 于 2009-6-9 22:49 发表
华赛的硬件来自于华为（华为的硬件来自.... 这就不提了），软件来自于赛门。其实就是空手套白狼，

  不愧的业内人士。

冬瓜头

是的，我们讨论的是raid系统的盲并发，而不是上层介入的有组织并发，两码事，更没牵扯到fs的问题了。

spook

是不是说，和手动指定的jbod比，作为Raid 10 随机读性能下降比Raid5 少？


[ 本帖最后由 spook 于 2009-7-31 16:35 编辑 ]

hehe110

好难了！
真是会了不难！

bbjmmj

和4块盘的RAID10相比，5块盘的RAID5，读写性能理论上比RAID10高25%，实测中大约要高15%左右。