请问如何实现大文件先分割再多线程cp或rsync

yexingqi

我在站点A每天有大约200GB的一个tar包要传到WLAN的站点B，在复制大量文件时，使用单进程单线程进行文件复制效率比较低下，而使用线程池能很好的提高效率。
所以我尝试寻求一些多线程的shell脚本，但是很可惜都是先统计多个文件或目录再分开来复制数据的。
对于我这种单个文件则还是只能单线程操作。


请问一下，如何实现将这个大文件分割成TCP或UDP的包，然后再多线程传送到另外一个站点吗？ 用cp或rsync或scp或任何工具都可以，只要能实现目的就好。


再次谢谢大家了！！！




附下，我找到一个用shell C的方法，但因为不太懂c shell，不知是否可行？
http://blog.csdn.net/s564200489/article/details/50538781

关阴月飞

试试bbcp
http://www.slac.stanford.edu/~abh/bbcp/

yexingqi

回复 2# 关阴月飞

初步查询了一下，发现这个是好东西！ 谢谢您的推荐！！  我熟悉完后再把简单的使用方法总结写上去。

jason680

回复 1# yexingqi

一个tar包 => 传过去，再打包...

yexingqi

回复 5# 本友会机友会摄友会

我是单个超过100GB的文件，对方也不是网站，故我不方便上网页的形式上传，再说了，换成网页上传远远不如我直接cp rsync的速度了。 ，用cp rsync都是单线程，速度不快的。

yexingqi

回复 2# 关阴月飞

拷贝目录，只需要多加一个 -r 参数即可：

bbcp -4 -r -v -s 16 -F -f -w 256k mysql root@192.168.0.85:/data/

这个速度确实不错，谢谢！！！！

yexingqi

回复 8# 本友会机友会摄友会

真心请教，还有什么好办法可以实现这类需求吗？