EMC cmx950 和IBM DS8100 性能哪一个更好一点

biti_rainy

今天做了 EMC 的测试，测试使用的 bonnie++   ，由于测试机器只有一块 HBA 卡并且测试 LV 只对应了 24块磁盘。 在EMC内部看到磁盘繁忙程度达到 60% 的情况下，IOPS 大约2400。 EMC对应前断端口已经满了。

orian

最初由 piner 发布\r\n[B]这个问题，再深入下去就要搞个数学模型来计算了\r\n虽然你上面说的有一定道理，但是，也还是有漏洞的。\r\n\r\n1、3个系统可能访问一个raid组或者是一个磁盘的三个地方，引发寻道等待，那么，一个系统来说，io也是并发的，因为存在多个并发用户与并发处理的sql，而且，我也有很多的数据文件，他们就是集中在一个raid组上，也可能分布的位置跟3个系统的位置一样。\r\n也就是说，在一个系统访问一个raid组，那么，数据分布也可能是\r\naaaaaaaaaabbbbbbbbbbbccccccccccc\r\naaaaaaaaaabbbbbbbbbbbccccccccccc\r\naaaaaaaaaabbbbbbbbbbbccccccccccc\r\n访问的规则，因为很离散，可能就是访问a了就访问c，然后访问b。。。。。。\r\n跟多个系统的差别在哪里？\r\n[/B]

\r\n我想大概是这样：如果一个系统，磁盘上的数据无论怎样也比3各系统更为“紧凑”，例如只占据了一部分的磁道，虽然是在多个IO之间并发，数据访问寻道还是按照平均来计算的，就是各个位置可能性都有，正态分布，可以用钟形曲线中间的宽度来比喻寻道的平均长度。而如果三个系统，则是3个钟形曲线，三个曲线的中心线的平均距离，是平均的寻道长度。不能说3条曲线中心线的距离就一定比一条曲线中间的宽度长，而要看具体数据的离散程度，也就是曲线的高度。形象来说，如果数据比较集中，则曲线很高，中间宽度较窄（耗时少），反之则较宽（耗时多）。同时3条曲线的情况下，中心线的距离几乎不会有什么变化。这就存在一定的限度：如果数据磁盘分布超过某个特定值，3条比一条好，反之，一条比三条好。这个分布的特定只需要计算，没有具体数据，也很难衡量，大体上来说，应当和存储容量与iops的比例有关。\r\n\r\n至于同一个系统和多个系统并行的区别在于同一个系统内，访问是正态分布，是一条曲线，三个系统是三条正态分布曲线的叠加，估计是一个类似“山”字的曲线。\r\n\r\n

最初由 piner 发布\r\n2、特定的系统访问特定的raid组，并不能减少iops\r\n如系统1，10个，系统2，10个，系统3，也是10个落在一个raid组上。\r\n那么改成一个系统占有一个raid组\r\n那么可能就是，30个iops，位置也正好可能就是在那3个系统的位置，访问规则可能因为不同的数据文件的问题，访问规则可能就是一样。\r\n[/B]

\r\niops数量不会减少，也通常不会被更多cache，但磁盘各个部位备访问的概率不同，我们看到的不是一个线性的叠加。具体要计算了，我们这么说，也得不到什么确定的结果。\r\n\r\n

最初由 piner 发布\r\n3，其实我最想不明白的是\r\n为什么一个raid组，给3个系统访问，那2个忙的系统就返回很慢，而那个不忙的系统返回就快，命中率是那个不忙的更低。\r\n按照你的理论，因为它受系统1、系统2的影响，响应速度应当一样才是。 [/B]

\r\n\r\n如果一个raid给3个系统，响应速度一定是一样的，我说的是最简单的情况：3个raid给3各系统，当然是iops最小的那个响应最快了！这就是做数据集/独占raid中的情况啊！牺牲一些系统，提高另一些系统。而我也说了，如果你三个系统都有一样的响应要求，做数据独占raid之后，总的平均响应性能并未提高，而是下降。

piner

最初由 orian 发布\r\n如果一个raid给3个系统，响应速度一定是一样的，我说的是最简单的情况：3个raid给3各系统，当然是iops最小的那个响应最快了！这就是做数据集/独占raid中的情况啊！牺牲一些系统，提高另一些系统。而我也说了，如果你三个系统都有一样的响应要求，做数据独占raid之后，总的平均响应性能并未提高，而是下降。 [/B]

\r\n\r\n\r\n呵呵，其他的先不讨论，但是就这个问题的确观察到的就不是这样。\r\n\r\n一个raid组给3个系统访问\r\n当其中2个系统，响应时间到100ms的时候，第三个系统的响应时间还是只有10ms，基本不受前2个系统的影响。\r\n\r\n差别就是，前2个系统的iops大，系统3的iops小，所以，我才怀疑lun（ldev）上面是否有队列啊。\r\n\r\n另外，iops小的那个lun，命中率反而更低。

orian

你是从层面什么看到的？oracle? os? storage system? array? disk?\r\ndisk和array一般不太可能，估计是oracle和storage system，那是用什么看的？

biti_rainy

有可能有一种情况，那就是 存储 cha  port 的极限。 emc 上是可以观察到一个port 在2400个iops的时候极限到了。\r\n\r\n\r\n主机 HBA 这块  8k io  的 iops 的极限又是如何的，还需要去测试一下。

orian

一个FC, 如果8k/io  2400*8=19200k=19.2M，应当离极限还很远，也没听说emc一个port2400 iops就到顶了，估计io大小不同

biti_rainy

最初由 orian 发布\r\n[B]一个FC, 如果8k/io  2400*8=19200k=19.2M，应当离极限还很远，也没听说emc一个port2400 iops就到顶了，估计io大小不同 [/B]

\r\n\r\n8k 的io ，大多数存储 输出都不高的。包括HDS。\r\n\r\n很明显的：\r\ndd 8k  bs   输出在几十MB\r\ndd 128k  bs 在接近200MB\r\ndd 1M  bs 在接近400MB

piner

最初由 orian 发布\r\n[B]你是从层面什么看到的？oracle? os? storage system? array? disk?\r\ndisk和array一般不太可能，估计是oracle和storage system，那是用什么看的？ [/B]

\r\n\r\n\r\n你说我的还是biti的\r\n\r\n我是在存储中，利用存储的监控软件看到的\r\n\r\n比如选定一个raid组，上面每个ldev详细的使用信息，都是有的，不过前提是先打开监控。

orian

这确实有点怪异，如果是在系统层面，还有可能，存储层面，同一个raid group上，LUN的响应时间应当一致啊。有截图么？\r\n\r\n应当还有磁盘的响应时间，看看具体磁盘的。

piner

最初由 orian 发布\r\n[B]这确实有点怪异，如果是在系统层面，还有可能，存储层面，同一个raid group上，LUN的响应时间应当一致啊。有截图么？\r\n\r\n应当还有磁盘的响应时间，看看具体磁盘的。 [/B]

\r\n\r\n等上班 了给你截，看不到磁盘的，只能看到一个raid组中的各个ldev，也就是lun。\r\n\r\n所以，我才怀疑ldev是不是有资源限制，iops有限制，多了就处理不了了。