qingduo04 发表于 2017-03-01 08:46

支持楠楠同学,好书...............

占座更新

cddy2016 发表于 2017-03-01 16:17

数据备份,非常重要!:victory:

cjfeii 发表于 2017-03-01 18:52

赞一个{:qq11:}

cjfeii 发表于 2017-03-01 18:54

分布式系统涉及到的技术比较多

fengzhanhai 发表于 2017-03-01 22:40

求书一本:mrgreen:

yehuafeilang 发表于 2017-03-02 13:40

数据一致性看起来容易做起来难,现在一般都是打时间戳,按时间来同步的吧

yehuafeilang 发表于 2017-03-03 12:48

1.在数据备份时,如何保证多个数据副本的一致性?
    就我个人理解,分布式系统的存储,涉及到了不同的物理区,只要分开了,那各物理区之间就必定涉及到通信,那只要涉及到通信了,肯定存在某一个时刻只完成一部分的业务操作,在通信完成的这一段时间内,数据就是不一致性的。如果要求保证一致性,那么就必须在通信完成这一段时间内保护数据,使得任何访问这些数据的操作不可用,或者数据就别分开了,数据库里面那个CAP原理在这儿也很适用。
    不过,在保持多个数据副本一致性上也有很多前辈的努力的,例如加锁,有各种各样的算法,大致意思就是在整个数据处理过程中将数据处于锁定状态,在用户修改数据的同时,其它用户不允许修改,等这个用户完事提交了,数据同步完成了再解锁,不过这样会大大影响效率。还有就是如果对数据的一致要求没那么高,那就保持数据的弱一致性。接着前面的例子,用户在修改数据的同时,允许其他用户同样也可以修改,这时候数据是不一致的,等大家都修改完了,再同步数据,这时数据又是一致的了。
2.系统出现机器或网络故障时,如何保持系统的高可用性?
    这个是接着问题1的吧,既然已经保存了多个数据副本,数据又能有条件的保持一致,那么,只要多个副本的数据是一致的,在机器故障引起某些副本失效时,其它副本仍然能提供服务,并能够在最短的时间内修复故障。
3.有哪些主流的分布式系统常用的技术?
分布式计算,分布式存储,分布式文件系统,分布式数据库,容器,微服务等

laputa73 发表于 2017-03-03 17:43

分布式原理比较复杂,不过我等吃瓜群众拿来用就好了。
副本提升可靠性。写一致性就交给作者了。
小文件fastdfs,
大文件hdfs,
日志es
对象SSDB
配置状态:etcd/zookeeper
ceph/swift这些还是先观望。

blacksapper 发表于 2017-03-13 15:53

1.在数据备份时,如何保证多个数据副本的一致性?
答:一个是设定主从,进行差异备份,数据库进行行级锁。通过判定日志时间确定“最新”的副本。
2.系统出现机器或网络故障时,如何保持系统的高可用性?
答:硬件层面高可用采用N机N线来解决,如三级双线(电信、联通)。软件层面采用资源池,逻辑复用等方式提交,如果逻辑提交失败再次提交或者让用户重新提交。也可以像12306或者小米那样进入排队进程。
3.有哪些主流的分布式系统常用的技术?
1.内存数据库2.数据保存在内存中,需要的时候才写入到硬盘中,通过逻辑分成实现大规模,高可用。

aloki 发表于 2017-03-14 20:50

备份虽然重要,但其有效性和可还原性更不可忽视。
页: [1] 2
查看完整版本: 【大话IT】论一名分布式存储工程师的自我修养之备份容灾