忘记密码   免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 3879 | 回复: 4

[其他] linux两台服务器下的大批量文件实时同步 [复制链接]

论坛徽章:
1
15-16赛季CBA联赛之吉林
日期:2018-01-06 16:35:38
发表于 2017-11-02 21:22 |显示全部楼层
需求:两台服务器之间实现线上数据实时同步,数据文件比较大

想到的方案:
1:使用rsync+inotify进行实时同步,刚开始的时候不能进行同步,因为只有文件改变了才会进行同步,那么最开始的已有的那一大份数据就只有拷贝或rsync权利,在这拷贝的过程中又不断的有新数据产生,怎么保证数据实时同步呢
    在传输的过程中文件由于各种原因损坏如何解决,综合考虑可靠性不高

2:使用lsyncd,传输速率是挺快,但是数据文件的完整性不能保证

未来的方案:自己开发,但是现在自己这水平也知道,短时间不能弄出来,长时间也不一定能,但是还是会当做一个项目去做,但这都是异想天开的想法了。

现实需要解决的问题:

那么,有没有其他的方案供参考呢,在网上看了很多资料,基本上是rsync+inotify,不想用这种,线上数据是要用的,不能开玩笑的,公司还在初始阶段,待会儿线上访问不了,公司就~~~~




论坛徽章:
0
发表于 2017-11-03 09:32 |显示全部楼层
heartbeat+drbd,双机热备方案

论坛徽章:
1
15-16赛季CBA联赛之吉林
日期:2018-01-06 16:35:38
发表于 2017-11-06 14:56 |显示全部楼层
回复 2# sliboy

嘿嘿 太感谢了 第一次接触到drbd 还得好好弄弄

论坛徽章:
0
发表于 2017-11-24 10:02 |显示全部楼层
drbd适合组数据库的 不适合做文件的 如果用这个你可能有一台服务器是半瘫的状态  必须主当掉了他才可用~~
用NFS呢?

论坛徽章:
1
15-16赛季CBA联赛之吉林
日期:2018-01-06 16:35:38
发表于 2017-12-05 20:14 |显示全部楼层
回复 4# 独孤天血

你好  NFS用在做共享比较多?
我想到了另外一种,用nginx的缓存机制,然后遍历整个目录的所有文件,就在这台机器上保存下来了。   这是我的想法  没有实施
您需要登录后才可以回帖 登录 | 注册

本版积分规则

【重磅资料】多云网络实战的相关问题汇总!
云网融合的多云网络

本文介绍如何管理私有云数据中心,构建数据中心互联和混合云解决方案。对于OTT 网络架构的深入理解,基本上来源于SIGCOM 的白皮书和一些公开视频。

Overlay SDN 控制器详解

云计算为了适应业务/APP 的快速开发和部署,会把网络分为两层:Overlay 和 Underlay 网络。本文主要讲Overlay网络层面的问题。

超级核心路由器演进

2016 年,网络连接已经采用100G/200G/400G(虽然 400GE 接口技术还未成熟),互联网出口也已经增长到了 T 级别。

获得资料 >>
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:wangnan@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP