iSCSI传输速度是否受限于target磁盘的写入速度？

maomaostyle

如题，我发现我在测试mpio的时候，无论是两条链路还是四条链路，平均传输速度都是140MB/S每秒左右，期间我尝试不同的jumbo packet（1500-4000-9000），网卡都是boardcom 1Gi的（支持TOE），拷贝的数据都是一些wim镜像文件，总大小才6GB

请问为什么速度就只能冲到140MB/S呢？瓶颈是在哪里？我测试时拿一台DELL2950做initiator，另一台DELL R710 SAS300GB*6 RAID5做的target，系统是windows server 2008 R2

拷贝的时候观察网卡占用率，如果是两条链路，平均每条使用大概70%多；四条链路的时候每条只有35%左右。。。why why why~

yddll

maomaostyle

回复 2# yddll


    版主帮忙解答一下呗。。。

maomaostyle

谁帮我看看啊。。

冬瓜头

目测可能有两个地方有问题：
1、拷贝方式，估计是单线程同步IO，如果是这样，底层路径再多也无济于事。
2、多路径软件均衡优化不到位。

排障方法：同时拷贝多个文件，我是说拷贝一个，同时再拷贝一个，而不是一次选多个黏贴过去。这样就是多个进程去拷，看看此时带宽上来没有。 6盘sas 300G组raid5，最大理论带宽少说也要400MB/s.

另外，建议看看大话存储2，理解一下什么是同步IO，异步IO，单线程多线程IO，又各自都有什么影响。 这样就不至于求着别人回答还得催了。

maomaostyle

回复 5# 冬瓜头


    谢谢，请问你说的400MB/s是磁盘的内部写入速度么？我现在怀疑瓶颈可能是我从initiator向target拷贝，我的initiator端设备性能差，本身内部磁盘读速度可能就慢，顶多100多MB，我打算明天换一台两端一致的设备试试，我那个initiator是台dell2950,SAS76G*2 RAID0。。。。而且缓存卡也没电了，不过那倒不要紧，我打开force write without battery

冬瓜头

那就先拷贝个小点的文件，让他占满ini端的缓存，然后再考一次，直接就从内存里过去了，这样就能看出tar端性能。我说的400MB是指tar端raid的性能。

maomaostyle

回复 7# 冬瓜头


    好的,我按照你的建议试一下,另外这个tar端raid性能,可以理解成接口速度么?好比SAS 6GB/s?

    另外我打算买本你的大话2看看,之前没有管住,没想到能和作者本身进行交流,非常有喜感,感谢指点!

冬瓜头

tar端的速度不可理解为接口速度，实际速度远低于接口速度。
PS：我其实就是来卖书的：）

maomaostyle

回复 9# 冬瓜头


情况1：2950作为target，R710为init，划分一个40G的LUN，两条千兆相连，从R710本机D盘向挂载的E盘拷贝若干*.wim镜像文件，总大小在10G左右，初始速度可以在400MB+以上，然后速度逐渐降为平均170MB左右，此时观察两条链路的占用率，各只有40%左右，再以170MB/s的速度观察拷贝进度条完成后，网卡继续以40%左右的占用率，直到逐渐将10G左右的数据拷贝至2950的磁盘上

情况2:R710为tar，2950为init，划分100GB的LUN，还是两条千兆口直连，从2950本机D盘拷贝同样大小的数据到挂载的E盘，初始速度最高220MB左右，然后迅速下降稳定在110MB左右，网卡使用率分别为60%左右，以110MB/s的速度完成进度条后，观察网络占用率也马上降为0，说明拷贝过程全部完成

对于以上两种情况，我有些疑问，首先第一种情况，为什么拷贝速率只有170MB左右，而且进度条完成后，网络占用率依然要等很久才降回0，是说2950因为性能太烂，所以写入速度很低，要慢慢的从R710的缓存区一点点写完嘛？其次对于第二种情况，为什么以110MB/s左右的速度拷贝完成后，网络使用率也马上降为0？是说R710的写入速率足够多吗？但是由于2950的读速度依然很一般，所以网络负载也冲不到百分百嘛？

接下来我只能换设备再测一下，保证两端都是同等配置的R710，是否就可以达到理论性能了呢？换句话说，要怎么样的情况下，我才可以达到线速，接一条千兆跑100多MB，接两条跑200多，三条300多，以此类推呢？要注意哪些环节的瓶颈？？谢谢