免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 30087 | 回复: 12

【大话IT】论一名分布式存储工程师的自我修养之备份容灾 [复制链接]

论坛徽章:
18
卯兔
日期:2013-09-27 17:41:0615-16赛季CBA联赛之佛山
日期:2016-07-09 17:34:45操作系统版块每周发帖之星
日期:2015-12-02 15:01:04IT运维版块每日发帖之星
日期:2015-12-02 06:20:00IT运维版块每日发帖之星
日期:2015-10-07 06:20:00IT运维版块每日发帖之星
日期:2015-10-03 06:20:00IT运维版块每日发帖之星
日期:2015-10-01 06:20:00羊年新春福章
日期:2015-04-01 17:56:06拜羊年徽章
日期:2015-04-01 17:56:062015年迎新春徽章
日期:2015-03-04 09:49:452015年辞旧岁徽章
日期:2015-03-03 16:54:15天秤座
日期:2015-01-14 06:39:28
发表于 2017-03-01 08:46 |显示全部楼层
支持楠楠同学,好书...............

占座更新

论坛徽章:
0
发表于 2017-03-01 16:17 |显示全部楼层
数据备份,非常重要!

论坛徽章:
71
15-16赛季CBA联赛之佛山
日期:2019-09-24 19:46:4815-16赛季CBA联赛之广夏
日期:2016-07-10 09:04:02数据库技术版块每日发帖之星
日期:2016-07-09 06:20:00操作系统版块每日发帖之星
日期:2016-07-09 06:20:00数据库技术版块每日发帖之星
日期:2016-07-07 06:20:00操作系统版块每日发帖之星
日期:2016-07-07 06:20:00操作系统版块每日发帖之星
日期:2016-07-04 06:20:00数据库技术版块每日发帖之星
日期:2016-07-03 06:20:00操作系统版块每日发帖之星
日期:2016-07-03 06:20:00数据库技术版块每日发帖之星
日期:2016-07-02 06:20:00操作系统版块每日发帖之星
日期:2016-07-02 06:20:00每日论坛发贴之星
日期:2016-07-01 06:20:00
发表于 2017-03-01 18:52 |显示全部楼层
赞一个  

论坛徽章:
71
15-16赛季CBA联赛之佛山
日期:2019-09-24 19:46:4815-16赛季CBA联赛之广夏
日期:2016-07-10 09:04:02数据库技术版块每日发帖之星
日期:2016-07-09 06:20:00操作系统版块每日发帖之星
日期:2016-07-09 06:20:00数据库技术版块每日发帖之星
日期:2016-07-07 06:20:00操作系统版块每日发帖之星
日期:2016-07-07 06:20:00操作系统版块每日发帖之星
日期:2016-07-04 06:20:00数据库技术版块每日发帖之星
日期:2016-07-03 06:20:00操作系统版块每日发帖之星
日期:2016-07-03 06:20:00数据库技术版块每日发帖之星
日期:2016-07-02 06:20:00操作系统版块每日发帖之星
日期:2016-07-02 06:20:00每日论坛发贴之星
日期:2016-07-01 06:20:00
发表于 2017-03-01 18:54 |显示全部楼层
分布式系统涉及到的技术比较多

论坛徽章:
10
CU大牛徽章
日期:2013-05-20 10:44:54数据库技术版块每日发帖之星
日期:2015-06-09 22:20:00IT运维版块每日发帖之星
日期:2015-06-05 22:20:00亥猪
日期:2014-08-23 14:52:27摩羯座
日期:2013-11-29 18:02:31CU十二周年纪念徽章
日期:2013-10-24 15:41:34CU大牛徽章
日期:2013-05-20 10:45:31CU大牛徽章
日期:2013-05-20 10:45:24CU大牛徽章
日期:2013-05-20 10:45:13综合交流区版块每日发帖之星
日期:2016-02-12 06:20:00
发表于 2017-03-01 22:40 |显示全部楼层
求书一本

论坛徽章:
3
15-16赛季CBA联赛之同曦
日期:2016-03-15 17:09:4315-16赛季CBA联赛之新疆
日期:2016-04-18 14:21:37shanzhi
日期:2016-06-17 17:59:31
发表于 2017-03-02 13:40 |显示全部楼层
数据一致性看起来容易做起来难,现在一般都是打时间戳,按时间来同步的吧

论坛徽章:
3
15-16赛季CBA联赛之同曦
日期:2016-03-15 17:09:4315-16赛季CBA联赛之新疆
日期:2016-04-18 14:21:37shanzhi
日期:2016-06-17 17:59:31
发表于 2017-03-03 12:48 |显示全部楼层
1.在数据备份时,如何保证多个数据副本的一致性?
    就我个人理解,分布式系统的存储,涉及到了不同的物理区,只要分开了,那各物理区之间就必定涉及到通信,那只要涉及到通信了,肯定存在某一个时刻只完成一部分的业务操作,在通信完成的这一段时间内,数据就是不一致性的。如果要求保证一致性,那么就必须在通信完成这一段时间内保护数据,使得任何访问这些数据的操作不可用,或者数据就别分开了,数据库里面那个CAP原理在这儿也很适用。
    不过,在保持多个数据副本一致性上也有很多前辈的努力的,例如加锁,有各种各样的算法,大致意思就是在整个数据处理过程中将数据处于锁定状态,在用户修改数据的同时,其它用户不允许修改,等这个用户完事提交了,数据同步完成了再解锁,不过这样会大大影响效率。还有就是如果对数据的一致要求没那么高,那就保持数据的弱一致性。接着前面的例子,用户在修改数据的同时,允许其他用户同样也可以修改,这时候数据是不一致的,等大家都修改完了,再同步数据,这时数据又是一致的了。
2.系统出现机器或网络故障时,如何保持系统的高可用性?
    这个是接着问题1的吧,既然已经保存了多个数据副本,数据又能有条件的保持一致,那么,只要多个副本的数据是一致的,在机器故障引起某些副本失效时,其它副本仍然能提供服务,并能够在最短的时间内修复故障。
3.有哪些主流的分布式系统常用的技术?
分布式计算,分布式存储,分布式文件系统,分布式数据库,容器,微服务等

论坛徽章:
42
19周年集字徽章-周
日期:2019-10-14 14:35:31平安夜徽章
日期:2015-12-26 00:06:30数据库技术版块每日发帖之星
日期:2015-12-01 06:20:002015亚冠之首尔
日期:2015-11-04 22:25:43IT运维版块每日发帖之星
日期:2015-08-17 06:20:00寅虎
日期:2014-06-04 16:25:27狮子座
日期:2014-05-12 11:00:00辰龙
日期:2013-12-20 17:07:19射手座
日期:2013-10-24 21:01:23CU十二周年纪念徽章
日期:2013-10-24 15:41:34IT运维版块每日发帖之星
日期:2016-01-27 06:20:0015-16赛季CBA联赛之新疆
日期:2016-06-07 14:10:01
发表于 2017-03-03 17:43 |显示全部楼层
分布式原理比较复杂,不过我等吃瓜群众拿来用就好了。
副本提升可靠性。写一致性就交给作者了。
小文件fastdfs,
大文件hdfs,
日志es
对象SSDB
配置状态:etcd/zookeeper
ceph/swift这些还是先观望。

论坛徽章:
0
发表于 2017-03-13 15:53 |显示全部楼层
1.在数据备份时,如何保证多个数据副本的一致性?
答:一个是设定主从,进行差异备份,数据库进行行级锁。通过判定日志时间确定“最新”的副本。
2.系统出现机器或网络故障时,如何保持系统的高可用性?
答:硬件层面高可用采用N机N线来解决,如三级双线(电信、联通)。软件层面采用资源池,逻辑复用等方式提交,如果逻辑提交失败再次提交或者让用户重新提交。也可以像12306或者小米那样进入排队进程。
3.有哪些主流的分布式系统常用的技术?
1.内存数据库2.数据保存在内存中,需要的时候才写入到硬盘中,通过逻辑分成实现大规模,高可用。

论坛徽章:
7
2017金鸡报晓
日期:2017-01-10 15:13:2915-16赛季CBA联赛之天津
日期:2019-06-20 14:25:4015-16赛季CBA联赛之天津
日期:2019-08-20 23:06:5319周年集字徽章-庆
日期:2019-08-27 13:24:4219周年集字徽章-19
日期:2019-09-06 18:55:5019周年集字徽章-年
日期:2019-09-06 18:55:5019周年集字徽章-周
日期:2019-09-20 17:18:22
发表于 2017-03-14 20:50 |显示全部楼层
备份虽然重要,但其有效性和可还原性更不可忽视。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会

【架构革新 高效可控】2020年12月21日-23日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP