免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 4520 | 回复: 4

[其他] linux两台服务器下的大批量文件实时同步 [复制链接]

论坛徽章:
1
15-16赛季CBA联赛之吉林
日期:2018-01-06 16:35:38
发表于 2017-11-02 21:22 |显示全部楼层
需求:两台服务器之间实现线上数据实时同步,数据文件比较大

想到的方案:
1:使用rsync+inotify进行实时同步,刚开始的时候不能进行同步,因为只有文件改变了才会进行同步,那么最开始的已有的那一大份数据就只有拷贝或rsync权利,在这拷贝的过程中又不断的有新数据产生,怎么保证数据实时同步呢
    在传输的过程中文件由于各种原因损坏如何解决,综合考虑可靠性不高

2:使用lsyncd,传输速率是挺快,但是数据文件的完整性不能保证

未来的方案:自己开发,但是现在自己这水平也知道,短时间不能弄出来,长时间也不一定能,但是还是会当做一个项目去做,但这都是异想天开的想法了。

现实需要解决的问题:

那么,有没有其他的方案供参考呢,在网上看了很多资料,基本上是rsync+inotify,不想用这种,线上数据是要用的,不能开玩笑的,公司还在初始阶段,待会儿线上访问不了,公司就~~~~




论坛徽章:
0
发表于 2017-11-03 09:32 |显示全部楼层
heartbeat+drbd,双机热备方案

论坛徽章:
1
15-16赛季CBA联赛之吉林
日期:2018-01-06 16:35:38
发表于 2017-11-06 14:56 |显示全部楼层
回复 2# sliboy

嘿嘿 太感谢了 第一次接触到drbd 还得好好弄弄

论坛徽章:
0
发表于 2017-11-24 10:02 |显示全部楼层
drbd适合组数据库的 不适合做文件的 如果用这个你可能有一台服务器是半瘫的状态  必须主当掉了他才可用~~
用NFS呢?

论坛徽章:
1
15-16赛季CBA联赛之吉林
日期:2018-01-06 16:35:38
发表于 2017-12-05 20:14 |显示全部楼层
回复 4# 独孤天血

你好  NFS用在做共享比较多?
我想到了另外一种,用nginx的缓存机制,然后遍历整个目录的所有文件,就在这台机器上保存下来了。   这是我的想法  没有实施
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

基于案例的 SQL 优化实战训练营

讲师:中电福富特级专家梁敬彬,参与本次课程培训,你将收获:
1. 能编写出较为高效的 SQL;
2. 能解决70%以上的数据库常见优化问题;
3. 能得到老师提供的高效的相关工具和解决方案;
4. 能举一反三,收获不仅仅是 SQL 优化。
现在购票享受8.8折优惠!
----------------------------------------
优惠时间:2019年3月20日前

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP