iSCSI的传输速率慢，瓶颈究竟出在哪里？？

maomaostyle

前端服务器的本地D盘向后端存储设备的本地D盘拷贝，千兆网络单链路，速率可以达到120MB，说明走网络文件协议没有问题，网卡使用率可以达到98%左右，充分利用

但是从前端服务器的本地D盘向后端存储划分的LUN”F“盘拷贝同样一个文件，速度只有50MB左右，网卡支持TOE，CPU负载极低，线缆应该也没什么问题，后端存储15块1T+RAID5

请问为什么走网络文件协议很正常，走iSCSI协议就这么差呢？我开始怀疑过是不是因为必须用iSCSI HBA，但是我看我的网卡也是服务器级别的，支持TOE，全双工1Gi，求解。。。

spook

操作系统,驱动,补丁什么的都很重要^

maomaostyle

回复 2# spook


    操作系统嘛。。。可能确实不如纯NAS类产品优化的好，功能都是基于软件的，后端windows storage server 2008，前端WS 2008 R2，补丁都打好了，驱动的话应该是系统自带的，我更新驱动试一试，多谢

lfl1001

可以尝试启用巨帧(Jumbo Frame)，比如9000的MTU。不过要注意SAN网络中所有设备都必须支持选定的MTU值，包括主机网卡和所有交换机、路由器。
如果是EMC存储的话，可以看下这篇文档：VNX或CLARiiON iSCSI阵列是否支持可调的Jumbo Frame(巨帧)

spook

回复 3# maomaostyle


你试着看看大文件 和小文件的区别……，小文件用都是1K左右的，大文件用超过1G的……看看结果有差异吗？ 存储能看到IOPS 吞吐量吗？

   

maomaostyle

回复 4# lfl1001


    今天做了一个操作，就是把两端服务器角色对调了一下，因为之前做存储的服务器性能很差，这次把他当作前端HOST，把性能好的当作iSCSI target来用，jumbo frame调整到4000，没敢用9000，TOE都enable，性能一下就上来了，我觉得之前慢的原因还是由于充当存储的服务器本身性能低下，磁盘内部传输速率太慢或者raid卡比较低端导致的，这次两个网卡max展示率可以达到70%+，而且从一开始拷贝就是150MB左右的速度，是直接写进磁盘的，感觉比之前靠谱多了

wenhq

偶记得好像W转的Disk IOPS一般是150左右。相比SAN，NAS，只能说是介于其中，因为走的是scsi over intranet。其速度跟SAN还是有差距。