免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2177 | 回复: 3
打印 上一主题 下一主题

请帮忙推荐数据同步软件,谢谢 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2007-10-26 16:05 |只看该作者 |倒序浏览
我有一个500G左右的数据需要备份,而500G的数据里全是几十k的图片,用rsync同步起来速度慢,请问各位有什么好的数据同步软件可以实现快度同步吗?据说fam可行,有哪位兄弟用过吗?适合我这种情况吗?效果怎么样,谢谢

论坛徽章:
0
2 [报告]
发表于 2007-10-26 21:11 |只看该作者
FAM 已经过时了,现在 Linux 内核里面已经包含了 inotify。

如果你有兴趣,可以研究一下我最近写的一个应用程序,利用 inotify 来进行近实时的同步。之所以是近实时,是因为同步的时候工作服务器上的写操作不可能被阻塞,不过在正常情况下,两台主机之间的延时不会超过 1s。我现在就用它来为很多虚拟站点的大量文件做实时备份(大概是两百万文件数量,其中目录数量是十万左右)。
http://bbs.chinaunix.net/thread-1002778-1-2.html

不过目前这只是第一个版本,对我基本上够用了,当然还有巨大的改进空间,也是我在后面的版本中要努力去做的。现在一个比较大的问题就是我使用的一个 python 模块 pyinotify 的 dir 的 watches 是放在内存里的,所以如果目录数比较大的话,占用内存会比较大(只与目录有关)。这个问题我争取尽快解决,不过这个过程中要学的东西就多了,公司的事情又总是又多又杂忙的很,再也不能这样活了,所以还要为前途做准备,时间更加紧张

如果你目录数量不大的话,我觉得会比较合适。我 10 万左右的目录大约占用了 70M 内存的样子,目前只能这样了。

论坛徽章:
0
3 [报告]
发表于 2007-10-29 09:24 |只看该作者
可我的有500G啊,我决定尝试一下DRBD,不过还是很谢谢你,以后有问题再向你请教!

论坛徽章:
0
4 [报告]
发表于 2007-10-31 09:45 |只看该作者
和数据总大小没有太大关系,主要是看目录数。当然如果普通文件的尺寸和变化频率的乘积太大则目前来说也不太合适。

DRBD 我也想试试看,不过目前没有什么时间。兄弟若有什么心得不妨多交流 '')
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP