有关大量小文件传输的问题

liaoboda

现在有一个应用，一台机器大概200万张2M大小的文件，要读到一个集群中处理，或者copy到另外一个地方，发现速度特别慢。只有5－20MB／s(网络)本地读取60M／s左右。
这台机器配置：
intel 5130*2
memory 4*2G
下边挂了 16*750G硬盘。（数据在这里边）
系统：redhat 4  kernel 2.6.9-44
文件系统：ext3
我试验过不同的块大小，软硬raid,本来作了一个并行的文件系统(lustre),发现对小文件只有10M每秒的读写速度。（双千兆网卡bonding，一个单独的大文件在lustre里边有 900MB／s的速度，所以可以排除是网络的问题）拆掉lustre用单台机器试验发现大文件都还好，就是这种小文件特别慢。用过ext3（没法格式化超过4T的）,xfs两种文件系统
效果一样，不知道什么文件系统适合小文件，或者有其他解决方法。现在我也在试验中。哪位有这方面的资料或者经验给我点谢谢了。

yddll

用一些性能测试工具，看看存储的IOPS能达到多少了？

liaoboda

用iozone 并行的测lustre能到900MB/s（有8台oss每台100M刚好到千兆以太的极限），我现在个人感觉是文件系统的问题，每次copy 都只有两条通道能用，用top看只有2个wait高。（也有可能是这个问题，我准备换ib设备试验下）。我在sun的光纤上也做了试验结果是一样的。现在我对lustre有点失望了，下次再买设备要求传输我这种文件必须到100MB／s这个是硬指标，我现在想要解决是不是要我们自己开发个文件系统。不然现在计算节点每秒只能处理10个文件，太恶心了。

straw

建议使用dump/restore的方式进行拷贝。
你用测试工具测试出来的性能再好也没有一点屁用。

[ 本帖最后由 straw 于 2007-10-8 10:19 编辑 ]

liaoboda

原帖由 straw 于 2007-10-8 10:18 发表
建议使用dump/restore的方式进行拷贝。
你用测试工具测试出来的性能再好也没有一点屁用。

非常同意你的看法，sun的人就是用工具让我看的。可是当我倒腾我的数据时发现不行（一个10T的东西要copy 6 7 天 我有10多个这种东西，那边等空间用 你说急不急 郁闷死我了），今天问一个朋友说是磁盘读写随即信就这个样子。说光纤或者infinband的nfs可能会好点。 呵呵 下次买存储的时候一定要求对我现在的应用速度到100MB／s

abo8000

是不是网站类的服务器，存大量的图片之类的文件，我也遇到同样的问题，目前没什么办法解决，是小文件就是这样的，他必须的不断的校验然后传输，势必慢，还有就是网络也可能是个很大的影响因素。除非块级传输。不过我现在手里在测试IB的存储，应该会解决这个问题。IB的东西的确很快，只是现在有点迷糊，为何测试的total时间居然比系统时间会小，太不可思议了，正在分析中。


msn：dalai80@msn.com

liaoboda

原帖由 abo8000 于 2007-10-10 09:25 发表
是不是网站类的服务器，存大量的图片之类的文件，我也遇到同样的问题，目前没什么办法解决，是小文件就是这样的，他必须的不断的校验然后传输，势必慢，还有就是网络也可能是个很大的影响因素。除非块级 ...

首先要搞清楚下边几点：
1.问题不在tcp-ip这个协议上，我两块千兆网卡bonding最少传输速度应该在200MB／s。而且我大的文件传输速度在180MB/s（实测验证）.在lustre里边（8台oss能到900MB/s）。而目前对大量机器内部最快60－80MB/s。网络间40MB/s.可见远远没有达到千兆以太网络的极限。
2.文件系统：我们试验过ext3,xfs,基本差不多。目前正在测试其他的文件系统。
3.我怀疑问题可能在3个方面：1>磁盘的随机读写能力，（有朋友和我说小文件的传输瓶颈就在这个上边，光纤盘会好点，目前我在联系光纤，scsi  
sas的测试）我比较同意这个观点，但还是有待试验来说明问题。2>文件系统，这个现在看来影响不太，但是也有影响。3>I/O 现在一copy数据I/O wait很大，而且发现只有两条通道，我现在就是不清楚到底是磁盘读不出来，还是磁盘读出来了送不出去。（如果是送不出去问题就好办了直接换IB就可以了）。
  我这里是HPC 不过也是处理数码图片 现在一天数据产出大概1T ，月底会到2T 不光是copy的问题，还有整个集群读取数据的问题，原来指望lustre现在看来不行。我也准备做IB的试验。

saintdragon

个人认为是大量的小文件在硬盘上的随机分布导致了磁盘的随机读造成的。
如果有好的文件系统应该有助于解决这类问题。

straw

原帖由 liaoboda 于 2007-10-10 13:25 发表

首先要搞清楚下边几点：
1.问题不在tcp-ip这个协议上，我两块千兆网卡bonding最少传输速度应该在200MB／s。而且我大的文件传输速度在180MB/s（实测验证）.在lustre里边（8台oss能到900MB/s）。而目前对大量机 ...

我实际工作中也是处理大量小文件，我的文件比你的更小
1，tcp-ip协议在这个地方有影响，小文件能增加package的数量，但是影响不大
2，任何文件系统都一样，不可能会有质的提高，我也曾经测试过ext,xfs,ntfs(在windows平台上),几个并行的网络文件系统，按照我的理解，问题不是出在文件系统上。
3，我目前使用的就是FC硬盘，但是和在scsi或者ide硬盘上根本没有区别。这里的问题和磁盘的IO能力，网络的IO能力都不相干。
4，应对的方法建议修改你数据备份和使用的方式和流程。