免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Shell › rsync大数据量同步问题?

最近访问板块

发新帖

查看: 4245 | 回复: 4

上一主题

下一主题

rsync大数据量同步问题? [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2010-03-26 11:25 |只看该作者 |倒序浏览

目前有300G以上的数据需要同步，经常同步。文件有大小文件都有，量很多
但每次receiving file list...的时间就很长了。这怎么办，应该怎么优化，或者有什么方法
谢谢有经验的帮看看

另：
目前我在rsync日志中看到有好多报错，请问这怎么解决或者是什么原因？
报错如下：
2010/03/23 13:06:56 [3262] rsync: send_files failed to open "/data/53036/RJ8ERBROCYLWA1VR/文件备份/1251410526937000/7F4B22B59D5E7D94C646C4DD7C718C79" (in backup): Input/output error (5)

文库|博客

论坛徽章:: 5

2015年辞旧岁徽章
日期:2015-03-03 16:54:15

2015年迎新春徽章
日期:2015-03-04 09:50:28

2015年亚洲杯之朝鲜
日期:2015-03-13 22:47:33

IT运维版块每日发帖之星
日期:2016-01-09 06:20:00

IT运维版块每周发帖之星
日期:2016-03-07 16:27:44

2楼 [报告]

发表于 2010-03-26 11:46 |只看该作者

不说了，Input/output error。输入/输出错误。

可以用inotify+rsync

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

3楼 [报告]

发表于 2010-03-26 12:18 |只看该作者

我觉得rsync算好用了。。也常同步大数据量，没啥问题啊

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2010-03-27 02:19 |只看该作者

rsync什么版本？
如果是2.×的，升级至3.×看看

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2010-03-27 13:02 |只看该作者

已经升级到了3.0.7又测试了下

开始在网上查说好像3.0不是先获取文件列表，是一边获取一边同步数据。但刚测试好像还是先获取文件列表呀

receiving file list ...
3 files to consider

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › Shell › rsync大数据量同步问题?

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP