免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 操作系统 › Linux系统管理 › 求教一下linux之间大量小文件复制有什么好的方案
最近访问板块 发新帖
查看: 1938 | 回复: 7
打印 上一主题 下一主题

[系统管理] 求教一下linux之间大量小文件复制有什么好的方案 [复制链接]

gaowenbinmarr

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2013-09-03 09:00 |只看该作者 |倒序浏览
目前服务器上大概有700多G的小图片，由于服务器要迁移到阿里云，刚开始打算用scp 可是量大啊 打包也不太可能，各位有没有好的解决方案啊
chenyx

论坛徽章:
381
CU十二周年纪念徽章 日期:2014-01-04 22:46:58CU大牛徽章 日期:2013-03-13 15:32:35CU大牛徽章 日期:2013-03-13 15:38:15CU大牛徽章 日期:2013-03-13 15:38:52CU大牛徽章 日期:2013-03-14 14:08:55CU大牛徽章 日期:2013-04-17 11:17:19CU大牛徽章 日期:2013-04-17 11:17:32CU大牛徽章 日期:2013-04-17 11:17:37CU大牛徽章 日期:2013-04-17 11:17:42CU大牛徽章 日期:2013-04-17 11:17:47CU大牛徽章 日期:2013-04-17 11:17:52CU大牛徽章 日期:2013-04-17 11:17:56
2楼 [报告]
发表于 2013-09-03 09:04 |只看该作者
rsync?
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
gaowenbinmarr

论坛徽章:
0
3楼 [报告]
发表于 2013-09-03 09:05 |只看该作者
700多G的也可以吗 ？rsync要进行扫描 很慢
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
chenyx

论坛徽章:
381
CU十二周年纪念徽章 日期:2014-01-04 22:46:58CU大牛徽章 日期:2013-03-13 15:32:35CU大牛徽章 日期:2013-03-13 15:38:15CU大牛徽章 日期:2013-03-13 15:38:52CU大牛徽章 日期:2013-03-14 14:08:55CU大牛徽章 日期:2013-04-17 11:17:19CU大牛徽章 日期:2013-04-17 11:17:32CU大牛徽章 日期:2013-04-17 11:17:37CU大牛徽章 日期:2013-04-17 11:17:42CU大牛徽章 日期:2013-04-17 11:17:47CU大牛徽章 日期:2013-04-17 11:17:52CU大牛徽章 日期:2013-04-17 11:17:56
4楼 [报告]
发表于 2013-09-03 09:10 |只看该作者
那你找找有没有多线程的下载工具,在目标服务器上多线程下载你目前服务器上的文件
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
zongg

论坛徽章:
21
白羊座 日期:2013-08-23 15:49:17金牛座 日期:2013-10-08 17:00:03处女座 日期:2013-10-12 11:54:11CU十二周年纪念徽章 日期:2013-10-24 15:41:34午马 日期:2013-11-27 14:07:21巨蟹座 日期:2013-12-04 10:56:03水瓶座 日期:2013-12-04 15:58:00亥猪 日期:2014-05-24 16:02:3115-16赛季CBA联赛之辽宁 日期:2016-11-07 13:52:53戌狗 日期:2013-08-23 16:15:31白羊座 日期:2013-08-24 21:59:24巨蟹座 日期:2013-08-25 16:34:24
5楼 [报告]
发表于 2013-09-03 09:12 |只看该作者
rsync 吧 3.0.6 或者更高版本，增量备份。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
zongg

论坛徽章:
21
白羊座 日期:2013-08-23 15:49:17金牛座 日期:2013-10-08 17:00:03处女座 日期:2013-10-12 11:54:11CU十二周年纪念徽章 日期:2013-10-24 15:41:34午马 日期:2013-11-27 14:07:21巨蟹座 日期:2013-12-04 10:56:03水瓶座 日期:2013-12-04 15:58:00亥猪 日期:2014-05-24 16:02:3115-16赛季CBA联赛之辽宁 日期:2016-11-07 13:52:53戌狗 日期:2013-08-23 16:15:31白羊座 日期:2013-08-24 21:59:24巨蟹座 日期:2013-08-25 16:34:24
6楼 [报告]
发表于 2013-09-03 09:13 |只看该作者
700多G 没问题，只要你带宽不是太小。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
gaowenbinmarr

论坛徽章:
0
7楼 [报告]
发表于 2013-09-03 09:23 |只看该作者
回复 6# zongg

那我先试下，带宽倒不是问题 都是服务器对服务器
   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
zongg

论坛徽章:
21
白羊座 日期:2013-08-23 15:49:17金牛座 日期:2013-10-08 17:00:03处女座 日期:2013-10-12 11:54:11CU十二周年纪念徽章 日期:2013-10-24 15:41:34午马 日期:2013-11-27 14:07:21巨蟹座 日期:2013-12-04 10:56:03水瓶座 日期:2013-12-04 15:58:00亥猪 日期:2014-05-24 16:02:3115-16赛季CBA联赛之辽宁 日期:2016-11-07 13:52:53戌狗 日期:2013-08-23 16:15:31白羊座 日期:2013-08-24 21:59:24巨蟹座 日期:2013-08-25 16:34:24
8楼 [报告]
发表于 2013-09-03 09:27 |只看该作者
回复 7# gaowenbinmarr


    你试一下吧，我试过500G的图片文件。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP