免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 3597 | 回复: 3

rsync同步200GB2000万个文件如何实现比较好? [复制链接]

论坛徽章:
0
发表于 2011-09-09 14:36 |显示全部楼层
备份需求:
1,实现增量备份;
2,备份间隔时间越短越好,如30分钟;
3,后台运行;
4,不能影响系统正常运行;

备份的文件:
1,大小约200GB;
2,文件数量约2000万个,约6000个一级目录;
3,每天更新或者添加的文件数量在10万左右;

目前的备份方法:
1,以一级目录为单位进行tgz压缩,存储到备份服务器上,如果压缩为一个tgz则耗时太长,且影响系统运行;
2,每隔4小时检测一次一级目录下面文件是否有更新或者新增,如有则更新tgz;

不足之处:
1,每次新增或者更新都需要更新整个tgz;
2,备份时对系统会有影响,目前是每次压缩完一个就暂停3秒执行下一次任务;
3,由于按一级目录进行分开压缩,恢复文件的时候不是很方便;

鉴于以上原因,一时没有找到好的备份方法,最好是实时备份,看到rsync实现增量备份很不错,就准备测试一下,谁知道第一次整理文件列表1个小时过去了还才150万,2000万那得多少时间啊,盼高手指点此类需求如何实践比较好,谢谢

论坛徽章:
0
发表于 2011-09-09 14:41 |显示全部楼层
这个200G太大了,帮顶一下,期待高手解答:wink:
易发国际 http://www.yifa8.org

论坛徽章:
0
发表于 2011-09-09 15:22 |显示全部楼层
sersync 试试这个! 触发文件式的同步

论坛徽章:
0
发表于 2011-09-10 11:49 |显示全部楼层
sersync 试试这个! 触发文件式的同步
loveradmin 发表于 2011-09-09 15:22


谢谢,google了一下,sersync也要依靠rsync程序
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会 限时8.5折

【架构革新 高效可控】2020年8月17日~19日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP