有关大量小文件传输的问题

heusun

Just suspect whether the "built-in" cache slows down the performance ?

liaoboda

原帖由 runer 于 2007-10-17 15:37 发表
只看了楼主的问题，没看后面的回复，如有不妥或重复请见谅

我正巧也遇到过类似的问题共500多万200K左右的小文件的频繁读写传输问题

效率低，很大程度上不是操作系统，文件系统或存储硬件的瓶颈(20%)

而 ...

调整过nfs cache发现iowait的确能下来，但是速度还是那样。

iops

1.对于改善I/O  的读写性能，我的经验是先分析现有I/O 的状态，再行改善。
2.可以把执行过程中的sar 和 iostat  贴出来看看。
3.测试值和实际上跑的值有许多的差距！

storm the front

原帖由 liaoboda 于 2007-10-17 15:14 发表

你的意思说要边传边Runs？这样好像不行，因为必须等所有数据出来了才会出一个有关质量的纠正参数必须要用这个参数。而且太长时间出结果也没意义啊。现在最多10个小时。刚才DELL的来说有个商业软件叫 IBRIX（类 ...

是的,对用户来说,iBrix可以把分散在各个盘箱内所有的卷虚拟成一个卷,用户不需要关心自己的data具体是被写到哪个物理volume里面去了,而且连接的client越多,传输速率越快~

但是这玩意很贵,呵呵