[已解决]scp大文件后等待时间超长疑惑

pyartist

以前从一台服务器scp镜像文件（约几百兆到几G不等）到另一台服务器上，在scp这种大文件进度到达100%后还要等待几秒到几十秒才出现提示符或者进行下一个文件的传输，当时也没太在意

这次传了个20G的单个文件，发现竟然在提示改文件传输进度100%后又等了10多分钟。

我觉得可能是scp先将文件传到另一台机器的内存中，进度百分之多少显示的是传到目标机器的内存占真个文件的比例。当进度显示100%的时候，开始从内存写入磁盘，我等待的时间就是这段时间。

因为服务器的内存比较大，128G，若内存小点，比如只有4G的内存，在传20G的文件，可能就是一边网络传输一边写磁盘。

在想解决办法，1是将物理内存变小（这个不现实）。2是设定scp的参数或者conf文件，但不知道步骤，man了下scp也没有发现。3是不用scp，用其他工具

jixuuse

大文件或者大量文件请用rsync

如果你文件数太多甚至会导致rsync内存溢出，这个时候只能按照子目录来做同步了

pyartist

果然，rsync没有该问题
看来以后不管大小文件，都不用scp了，直接用rsync，scp对大文件传输效率有问题
证明之前的假设也是正确的。

1. # rsync vm1-3.qcow2 192.168.246.22:~/tt -P
   
2. root@192.168.246.22's password:
   
3. vm1-3.qcow2
   
4. 15946563584 100%   11.20MB/s    0:22:37 (xfer#1, to-check=0/1)
   
5. 
   
6. sent 15948510261 bytes  received 31 bytes  11722536.05 bytes/sec
   
7. total size is 15946563584  speedup is 1.00
   

复制代码

回复 2# jixuuse


   

lyhabc

scp没有啥算法可言
rsync有rsync算法，肯定比scp好

至于写磁盘又操作系统决定的，不是由程序决定的，从A机器内存-》a机器网卡-》b机器网卡-》b机器内存

cjfeii

scp 是不是最后做文件校验？

pyartist

回复 5# cjfeii


    因该不是校验导致 ，我在内存只有4G的台式机上传大文件没有这个问题，速度反而正常，应该是scp功能不够强大，只有最基本功能