有关大量小文件传输的问题

liaoboda

另外 现在我们在做一个统计表， 包括不同文件系统 不同的cp 方式  不同的文件  不同的阵列 不同的磁盘 等等 下次买存储估计第一个要求就是小文件传输至少100MB/s。呵呵

风流涕淌

这个贴子不错，让我学习不少，
我有个建议
先测本机的测度，用大文件和小文件都测一下
再测网络的测度，也用大文件和小文件都测一下

还有可能是你的网卡的i/o不够，把网卡的中断满了，所以会慢，而大文件就不会，个人猜想

风流涕淌

你看看你的网卡每分钟能处理多少个包

风流涕淌

我以前ＬＶＳ时，都是4k的小包，就是网卡中断不够

liaoboda

原帖由 风流涕淌 于 2007-10-16 17:47 发表
这个贴子不错，让我学习不少，
我有个建议
先测本机的测度，用大文件和小文件都测一下
再测网络的测度，也用大文件和小文件都测一下

还有可能是你的网卡的i/o不够，把网卡的中断满了，所以会慢，而大文件 ...

本机测了 60MB/s （2个硬8口promise的卡raid 5），大文件能到170MB/s。网络也试了不过现在准备测试ib的（大文件如果用lustre效果非常好 8台能到900MB/s，但是小文件就特别不好了）。现在还在继续测试中，现在感觉是硬盘随机读写的问题

liaoboda

问题不在网卡上边，两个bonding 最多到40MB/s。大文件能随便上100。说明网络设备不是瓶颈

Chowroc

可能我对你的情况还不是很了解。我觉得能够提供的意见是：

1. 不要打包。

2. 改善一下并发性。我觉得你不一定要一次性先把所有的文件传到集群后再处理，因为你说有一百多个计算节点，我觉得你可以在存储端运行一个 daemon，不断的将新加入的文件名放到一个 list 里面，并接收外部请求。当一个计算节点完成处理后，它作为客户端连接过来，此时这个 daemon 查看列表(当然这个 daemon 有一个指针指向没有处理的那一点，或者将已经处理的部分从 list 里删除，或者理解为一个 Queue)，并将未处理的一个文件项传给计算节点。

我想，只要你存储器的随机存取没有问题，这样应该是可以的。

Chowroc

具体的做法你可以看看 Linux inotify，或者你也可以看看我在做的项目，即便不能直接用，也可能会有启发的。

不过如果你的系统不是 Linux，可能不能使用 inotify。我只知道 IRIX 下面有个 FAM，不知道 Sun 有没有对应的这种功能。

liaoboda

原帖由 Chowroc 于 2007-10-16 18:26 发表
可能我对你的情况还不是很了解。我觉得能够提供的意见是：

1. 不要打包。

2. 改善一下并发性。我觉得你不一定要一次性先把所有的文件传到集群后再处理，因为你说有一百多个计算节点，我觉得你可以在存储端 ...

我现在感觉问题很可能就在硬盘的随机性上边

liaoboda

原帖由 Chowroc 于 2007-10-16 18:43 发表
具体的做法你可以看看 Linux inotify，或者你也可以看看我在做的项目，即便不能直接用，也可能会有启发的。

不过如果你的系统不是 Linux，可能不能使用 inotify。我只知道 IRIX 下面有个 FAM，不知道 Sun 有 ...

我用的是rh 4.4 或者 rh5 ，呵呵 希望大家一起解决这个问题，现在我们还在测试中，准备写个报告，先要找到问题。如果是硬盘随机方面的问题我想是不是可以考虑写一个文件系统专门针对这种文件。当然我的水平是有限的，毕竟才工作了一年。所以需要所有感兴趣的多帮助一下我，我们可能最后会建一个计算能力40－100T 存储到3P的超算，所以这个问题必须解决