如何加快文件copy速度?

lfree

另外你可以加入z参数,这样一边压缩一边传.

ruochen

原帖由 lfree 于 2009-5-6 15:34 发表
http://www.itpub.net/showthread. ... 812&pagenumber=

a机
$ tar cf - win98 | nc -l -p 5555

b机
nc a_ip 5555 | tar xf -

a_ip换成a机的ip地址.

学习下

还魂僵尸

直接拷贝那一堆小文件所在硬盘的设备文件，那边再用loop挂上？外行的猜想，莫笑话

shengery

tar + ssh +压缩，速度还是蛮快的,当然最快的应该是dump+restore

tulip0425

ftp速度应该很快,而且好像还不用压缩吧

Yuri.G.

rsync应该是比较适合的。

gucuiwen

这种情况用rsync是最快的。

上面有人说的，tar + nc的方法，只是省去了tar包保存在本地的时间，但tar 打包这么大的文件本省耗费时间非常长。

tar + nc 和 tar + ssh的方法是一样的：

tar cf - mydir |ssh 10.0.0.1 "dd of=/some/where/mydir.tar"


tar cf - mydir |ssh 10.0.0.1 "tar -C /some/where/ xfv -"

关于大量细小文件的互相拷贝，我专门做过试验，rsync最快，其他方法都没有rsync快：

rsync -e ssh mydir 10.0.0.1:/some/where/


有人说的直接插硬盘或者网络bond0等等，都没有用，因为这种情况拷贝大量小文件，瓶颈不在网络速度，而在于文件系统查询文件inode和实际写文件的磁盘块的对应关系的过程，
因此，直接插硬盘拷贝和增加网络贷款都不能加快速度，最快方法就是rsync了。

还有人提到了dd拷贝分区或整个磁盘。

如果真的用dd拷贝过整个磁盘就应该知道，这种方法比拷贝文件系统还慢，特别是文件占用的磁盘空间比较小的时候，这种方法效率最低。

syzxlyx

感谢大家的回复！本人现在倾向于用rsync，还在测试中。
从前面的测试可看到，网络不是问题，传输速度可达7m字节/秒。现在的问题主要是小文件的处理，涉及到遍历文件系统，共约960多万的子目录。
所以现在的难点是减少文件系统的遍历时间！
希望继续得到大家的帮助！

snowbow

原帖由 RYBACK 于 2009-5-6 13:23 发表
网上看到一篇文章，说用netcat
All good ideas come out of necessity. We were cloning an instance of Oracle Financials from one server to another. There are a LOT of files under < 1k and the copy t ...

超强 多谢!