论坛徽章:: 1

电梯直达

1楼 [收藏(0)] [报告]

发表于 2014-04-25 11:16 |只看该作者 |正序浏览

以前我搬家VPS都用scp 不过最近服务商把主机搬移到美东，导致延迟高达200ms，用scp连接的话每秒大概只能跑两个档案，整台VPS有数十万以上个文件，这样跑下去要跑太久了。。。。

有想过先用压缩在传输，不过原来的VPS硬盘不够了，没办法压缩

我命令这样

scp -pr -P 端口目录 root@ip:目录

不知道有没有什么快速的方法

文库|博客

qidunhu

丰衣足食

论坛徽章:: 3

22楼 [报告]

发表于 2014-05-07 17:17 |只看该作者

还可以试试bbcp

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

415619

白手起家

论坛徽章:: 0

21楼 [报告]

发表于 2014-05-06 23:18 |只看该作者

学习了，很强大

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

vermouth

版主

论坛徽章:: 34

20楼 [报告]

发表于 2014-05-06 08:51 |只看该作者

回复 19# q1208c

动作量比较大的，最好screen丢到后台去跑

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

q1208c

富甲一方

论坛徽章:: 33

19楼 [报告]

发表于 2014-05-06 08:23 |只看该作者

回复 18# vermouth

命令中已经有了 tar 指令在打包了. 只不过没有生成真正的文件, 直接送到了另一台机器上解包了.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

vermouth

版主

论坛徽章:: 34

18楼 [报告]

发表于 2014-05-05 17:24 |只看该作者

小文件多，最好打包再传哦。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

howge

家境小康

论坛徽章:: 1

17楼 [报告]

发表于 2014-05-05 16:01 |只看该作者

回复 16# q1208c

嗯，多谢指教，只是记得几年前曾经处理过类似的问题，scp 巨慢，后来改rsync 很快，那个时候没有采用流式传输，不知道是不是这个原因:wink:

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

q1208c

富甲一方

论坛徽章:: 33

16楼 [报告]

发表于 2014-05-05 15:44 |只看该作者

回复 15# howge

rsync 有些机器上不一定有. 而且对于单方向的非重复传输, rsync没有优势.

原因很简单, rsync花了大量的时间来处理文件列表的对比. 结果, 发现全部都要传输. 这个时间, 其实是浪费了.

tar是流式操作的, 根本不管还有多少文件, 只是一个个传下去. 所以, 效率应该会更高.

rsync的优势在于同步变化过的文件.

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

howge

家境小康

论坛徽章:: 1

15楼 [报告]

发表于 2014-05-05 14:57 |只看该作者

回复 2# q1208c

学习了，一般大文件，都是采用rsync 吧

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

bun bun 当前离线禁止发言好友博客消息论坛徽章: 7	14楼 [报告] 发表于 2014-05-05 12:52 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
bun bun 当前离线禁止发言好友博客消息论坛徽章: 7	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

12 3 / 3 页下一页

返回列表

Chinaunix › 论坛 › 操作系统 › Linux系统管理 › scp 传输整个目录速度太慢

bun bun 当前离线禁止发言好友博客消息论坛徽章: 7	14楼 [报告] 发表于 2014-05-05 12:52 \|只看该作者提示: 作者被禁止或删除内容自动屏蔽
bun bun 当前离线禁止发言好友博客消息论坛徽章: 7	实战分享：从技术角度谈机器学习入门\| 【大话IT】RadonDB低门槛向MySQL集群下战书 \| ChinaUnix打赏功能已上线！ \| 新一代分布式关系型数据库RadonDB知多少？

[网络管理] scp 传输整个目录速度太慢 [复制链接]