免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3495 | 回复: 3

rsync同步200GB2000万个文件如何实现比较好? [复制链接]

论坛徽章:
0
发表于 2011-09-09 14:36 |显示全部楼层
备份需求:
1,实现增量备份;
2,备份间隔时间越短越好,如30分钟;
3,后台运行;
4,不能影响系统正常运行;

备份的文件:
1,大小约200GB;
2,文件数量约2000万个,约6000个一级目录;
3,每天更新或者添加的文件数量在10万左右;

目前的备份方法:
1,以一级目录为单位进行tgz压缩,存储到备份服务器上,如果压缩为一个tgz则耗时太长,且影响系统运行;
2,每隔4小时检测一次一级目录下面文件是否有更新或者新增,如有则更新tgz;

不足之处:
1,每次新增或者更新都需要更新整个tgz;
2,备份时对系统会有影响,目前是每次压缩完一个就暂停3秒执行下一次任务;
3,由于按一级目录进行分开压缩,恢复文件的时候不是很方便;

鉴于以上原因,一时没有找到好的备份方法,最好是实时备份,看到rsync实现增量备份很不错,就准备测试一下,谁知道第一次整理文件列表1个小时过去了还才150万,2000万那得多少时间啊,盼高手指点此类需求如何实践比较好,谢谢

论坛徽章:
0
发表于 2011-09-09 14:41 |显示全部楼层
这个200G太大了,帮顶一下,期待高手解答:wink:
易发国际 http://www.yifa8.org

论坛徽章:
0
发表于 2011-09-09 15:22 |显示全部楼层
sersync 试试这个! 触发文件式的同步

论坛徽章:
0
发表于 2011-09-10 11:49 |显示全部楼层
sersync 试试这个! 触发文件式的同步
loveradmin 发表于 2011-09-09 15:22


谢谢,google了一下,sersync也要依靠rsync程序
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,8.5折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时8.5折扣期:2019年9月30日前


----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP