免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2957 | 回复: 0

[其他DFS] FastCFS binlog机制简介 [复制链接]

论坛徽章:
4
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:11IT运维版块每日发帖之星
日期:2016-08-11 06:20:00IT运维版块每日发帖之星
日期:2016-08-15 06:20:00
发表于 2021-02-08 12:18 |显示全部楼层
本帖最后由 happy_fish100 于 2021-02-08 12:20 编辑

​    FastCFS采用经典的Master/Slave结构及数据同步复制的做法。如果slave在线,master同步调用slave;否则slave将进入数据恢复阶段,追上master的最新进度后,slave切换为在线状态,此后master将数据同步复制到slave。

    FastCFS采用binlog记录数据更改操作,binlog中不会记录变更(如写入)的文件内容,binlog相当于是数据索引,非常简洁。FastCFS中binlog的两大用途:一、实现数据索引持久化存储,程序启动时通过重放binlog加载数据索引;二、slave数据恢复时从master拉取缺失的binlog,然后基于该binlog进行数据恢复。大家直观感受一下如下所示的binlog片段:
截屏2021-02-07 上午10.21.49.png

    第一列为更改时间(unix时间戳),第二列为数据版本号。多个数据副本的分布式系统要保证数据强一致性,就必须保证更改操作的顺序。采用单调递增的数据版本号,是严格保证更改顺序的有效方法,这正是上一篇文章最后留下的悬念解答。

    FastCFS支持master失效时自动切换(failover),极端情况下发生master切换后,可能会导致原master和新master上的binlog部分数据不一致,而不一致的binlog数据只会在binlog文件的尾部,我们只需对最后N条(如3条)binlog进行校验即可。如果slave最后N条binlog和master对账失败,slave会退出运行,需要人工修复binlog(通常只需删除最后一条binlog)后该slave方可正常启动。

    FastStore模块有两套binlog:用于slave数据恢复的replica binlog和用作数据索引的slice binlog。对于一次更新操作,先写slice binlog,然后写replica binlog。一次更新操作对应两次binlog写入,如何保证两次写入的事务性呢?FastCFS不允许写binlog失败,只有程序异常终止时(比如掉电、程序挂掉),二者才有可能不一致。因此写入binlog时不做校验,程序启动时对两个binlog进行对账,去掉尾部多余的binlog记录即可。

    FastCFS中master同步调用slave完成后才写binlog,为什么不选择在调用slave前写binlog呢?master写入binlog的时机是有讲究的,这个问题就留给大家了。

    最后总结一下,FastCFS中binlog是保证数据一致性的重要机制,binlog自身做到一致性非常关键,FastCFS采用的是binlog对账机制。

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2021中国系统架构师大会

【数字转型 架构重塑】2021年5月20日-22日第十三届中国系统架构师大会将在云端进行网络直播。

大会为期3天的议程,涉及20+专场,近120个主题,完整迁移到线上进行网络直播对会议组织来说绝非易事;但考虑到云端会议的直播形式可以实现全国各地技术爱好者的参与,也使ITPUB作为技术共享交流平台得到更好的普及,我们决定迎难而上。
http://sacc.it168.com/


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP