有关大量小文件传输的问题

abo8000

是不是网站类的服务器，存大量的图片之类的文件，我也遇到同样的问题，目前没什么办法解决，是小文件就是这样的，他必须的不断的校验然后传输，势必慢，还有就是网络也可能是个很大的影响因素。除非块级传输。不过我现在手里在测试IB的存储，应该会解决这个问题。IB的东西的确很快，只是现在有点迷糊，为何测试的total时间居然比系统时间会小，太不可思议了，正在分析中。


msn：dalai80@msn.com

abo8000

原帖由 liaoboda 于 2007-10-10 13:25 发表

首先要搞清楚下边几点：
1.问题不在tcp-ip这个协议上，我两块千兆网卡bonding最少传输速度应该在200MB／s。而且我大的文件传输速度在180MB/s（实测验证）.在lustre里边（8台oss能到900MB/s）。而目前对大量机 ...

我测试IB ，SDR的大约在700多接近800MB/s，DDR的还没实测，还没测小文件的。我测完了准备给华大测，上次都说了给他们测，等他们测完了，你感兴趣的话你就拿去玩几天。:wink:

abo8000

原帖由 liaoboda 于 2007-10-11 13:43 发表

你是哪家？什么时候给我们测过？交换机已经还回去了。还有两块卡在我这里呵呵。

认识方林和彭柯吗。你是哪位？

现在我这没实际程序跑，最好有个M5，生物基因，核物理之类的应用程序跑一下，那样的比较真实。

哪位大虾有详细的文件系统优化这块的方案，参考下喽。