免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 操作系统 › Linux系统管理 › 如何加快文件copy速度?
12345678下一页
最近访问板块 发新帖
查看: 25629 | 回复: 76
打印 上一主题 下一主题

如何加快文件copy速度? [复制链接]

syzxlyx

论坛徽章:
1
戌狗 日期:2013-10-24 17:31:55
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2009-05-05 16:03 |只看该作者 |倒序浏览
我现在有个服务器,上面有500g数据的文件系统要迁移到新服务器上,这些文件都是几十k的小文件.之前,用tar打包压缩上传到新机器上,发现打包解包速度太慢,15分之一数据量大概要30小时左右.后来用nfs挂载cp的方法测试,速度依然很慢.

如何加快copy到新机器的速度?

[ 本帖最后由 syzxlyx 于 2009-5-5 16:48 编辑 ]
gamester88

论坛徽章:
5
寅虎 日期:2015-01-20 09:16:52亥猪 日期:2015-01-21 14:43:44IT运维版块每日发帖之星 日期:2015-12-17 06:20:00每日论坛发贴之星 日期:2015-12-17 06:20:00每周论坛发贴之星 日期:2015-12-20 22:22:00
2楼 [报告]
发表于 2009-05-05 16:20 |只看该作者
不知道，用scp呢？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
marsaber

论坛徽章:
0
3楼 [报告]
发表于 2009-05-05 16:27 |只看该作者
这些文件都是几十k的小文件

除了打包传，还有良策吗？
期待。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
syzxlyx

论坛徽章:
1
戌狗 日期:2013-10-24 17:31:55
4楼 [报告]
发表于 2009-05-05 16:44 |只看该作者
使用nfs挂载copy的方法还在测试中,同样的15分之一数据量传输,时间从昨天的10:27开始到现在还没结束.
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
syzxlyx

论坛徽章:
1
戌狗 日期:2013-10-24 17:31:55
5楼 [报告]
发表于 2009-05-05 16:46 |只看该作者
使用tar的增量拷贝方法的话,第二次增量拷贝时,时间上有多大的优势?
用过的说说?
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
hellioncu

论坛徽章:
324
射手座 日期:2013-08-23 12:04:38射手座 日期:2013-08-23 16:18:12未羊 日期:2013-08-30 14:33:15水瓶座 日期:2013-09-02 16:44:31摩羯座 日期:2013-09-25 09:33:52双子座 日期:2013-09-26 12:21:10金牛座 日期:2013-10-14 09:08:49申猴 日期:2013-10-16 13:09:43子鼠 日期:2013-10-17 23:23:19射手座 日期:2013-10-18 13:00:27金牛座 日期:2013-10-18 15:47:57午马 日期:2013-10-18 21:43:38
6楼 [报告]
发表于 2009-05-05 16:51 |只看该作者
不经过网络，硬盘插一台机器上
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
syzxlyx

论坛徽章:
1
戌狗 日期:2013-10-24 17:31:55
7楼 [报告]
发表于 2009-05-05 17:14 |只看该作者
两服务器不在同一地点,网络传输的时间相比较下,可以忽略不计了.
以前的测试中得出的结论,网络传输速度可达5m字节/秒.
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
syzxlyx

论坛徽章:
1
戌狗 日期:2013-10-24 17:31:55
8楼 [报告]
发表于 2009-05-05 18:00 |只看该作者
试试rsync.看看效果!
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
rhlei

论坛徽章:
0
9楼 [报告]
发表于 2009-05-05 18:12 |只看该作者

回复 #8 syzxlyx 的帖子

rsync 可能会快一点，没做过这么多小文件的测试。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
goter

论坛徽章:
2
申猴 日期:2013-12-26 22:11:31天秤座 日期:2014-12-23 10:23:19
10楼 [报告]
发表于 2009-05-05 18:20 |只看该作者
可以写个程序直接按块读写
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12345678下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP