求助：p550连接第三方存储使用iscsi，却跑出乌龟速度！

coologin

P550,配置８核心，１６Ｇ内存，AIX7.
存储　ipsan，第三方厂商的，上面带6块sas磁盘，建立raid5，分区后我们笔记本WIN7挂上，复制文件速度80M/s，大致OK，于是通过小机去连接,我通过命令把小机本地磁盘上的480M文件　ＤＤ到存储分区，花了３８秒，也就是速度是13M/s，于是我对存储调了一下策略，开始是直写存储，后改为缓写回存储。速度上升到30M/s,但是还是不行。我用topas查询，network速度大约是30m/s左右。
网上查询说是小机这边需要做一些修改，如：queue_depth，不清楚是否正确。


time dd if=/test/cache-2010.2.8.1104-ppc64.tar of=/backup/peter/cache-2010.2.8.1104-ppc64.tar bs=1024  


我们aix不太了解，IT人不容易，三更半夜发贴，望指导！

coologin

1，queue_depth改为3，性能提升了3~5M左右，后改成18，性能没有什么变化。
2，改MTU＝8000，失败，原因不明，可能是绑定了双网口的原因。

现像：time dd if=/locahost/xxx of=/storage/xxx bs=1m count=2速度提升3倍，即480M花了8秒左右。

这是什么？后来我把count=20，性能反下降了，后悔没有count=4,6,8如此，听说count与CPU相关。

mike79

coologin 发表于 2012-06-08 23:52
现像：time dd if=/locahost/xxx of=/storage/xxx bs=1m count=2速度提升3倍，即480M花了8秒左右。

这说法就有问题。bs=1m count=2就是只读写2M

InfoSVC

楼上说的对
楼主关于dd命令的理解存在问题

如果测试速度,可以尝试用nmon+dd来看一下,单纯的看时间也不靠谱

yddll

照葫芦画瓢是不行的

count是计数，跟cpu没有太大关系，不过只试几个顶什么用，1m的bs，没个几千count不要谈

iscsi的话，queue_depath一般都很小的，还有iscsi卡的num_cmd_elems，也是很小的

你要是只有一个lun，iscsi卡的num_cmd_elems和hdisk的queue_depath都设成2试试

不过你要是有iscsi存储的手册，那就更好了

yddll

话说回来，你那个存储，跑30M/s的速度，我估计本身就这性能吧


还有你用dd，不仅要考虑of的性能，还要考虑if的性能，你本地磁盘读出是啥速度，你考虑了吗

coologin

回复 5# yddll


    非常感谢！

应该不会是存储本身的性能，我从笔记本传一个大文件，都是７０Ｍ/s以上。

由于我修改了四个参数，目前测试了queue_depth,两个tcp相关参数，对于提升有作用，但只是小幅度，只有rfc1323=1没有验证，这是否是个关键参数。

no -r -o rfc1323=1　　　

queue_depth=３*６＝18 (因为我使用６块磁盘)

另外也测试了
tcp_nagle_limit =1
tcp_nodelay=1

我这边修改了内核参数,目前通过聚合两块网卡，速度达到90m/s,比之前，速度长了近７倍。

问题：我再聚合一块网卡，这个速度会不会再上升些？

yddll

你不是在做测试，你是在炼丹吧，扔进去一些乱七八糟的东西，然后等待奇迹出现

coologin

回复 6# yddll


    本地速度是60M /s

coologin

yddll 发表于 2012-06-11 23:41
你不是在做测试，你是在炼丹吧，扔进去一些乱七八糟的东西，然后等待奇迹出现

因为想提高速度，所以都改了，现在测试是那个关键参数，使速度提高这快。

一个参数一个参数改回原值。

因为对AIX系统没有学习过，我这是第一次操作AIX…………汗。

这么用心，一是工作，二是为了练习AIX，