忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
12下一页
最近访问板块 发新帖
查看: 14529 | 回复: 12

【大话IT】论一名分布式存储工程师的自我修养之备份容灾 [复制链接]

论坛徽章:
135
2015年亚洲杯之日本
日期:2015-04-28 13:32:012015年亚洲杯之朝鲜
日期:2015-05-06 10:16:442015年亚洲杯之日本
日期:2015-05-06 10:21:342015年亚洲杯纪念徽章
日期:2015-05-13 17:16:442015亚冠之北京国安
日期:2015-05-13 17:18:292015亚冠之鹿岛鹿角
日期:2015-05-13 17:19:062015亚冠之德黑兰石油
日期:2015-05-27 16:47:402015亚冠之塔什干棉农
日期:2015-05-28 15:24:122015亚冠之卡尔希纳萨夫
日期:2015-06-01 13:52:392015亚冠之柏斯波利斯
日期:2015-06-04 17:37:292015亚冠之阿尔纳斯尔
日期:2015-06-16 11:31:202015亚冠之塔什干火车头
日期:2015-06-23 10:12:33
发表于 2017-02-28 14:32 |显示全部楼层
获奖公布:
精彩回复:Yehuafeilang   laputa73   Blacksapper   Fl_wolf
请以上获奖人员在5月20日前将姓名、电话、邮箱、公司、职务、快递地址站短给hyukhae079408,以便尽快给大家发放礼品。
话题背景:
分布式存储系统是为了解决单机存储所存在的容量、性能等瓶颈,以及可用性、扩展性等方面的问题,通过把数据分散存储在多台存储设备上,为大规模的存储应用提供大容量、高性能、高可用、扩展性好的存储服务。

在这里,援引2月9日一则新闻:
分布式存储系统 Ceph 12.0.0 发布了。Ceph 是加州大学 Santa Cruz 分校的 Sage Weil(DreamHost 的联合创始人)专为博士论文设计的新一代自由软件分布式文件系统。自 2007 年毕业之后,Sage 开始全职投入到 Ceph 开发之中,使其能适用于生产环境。Ceph 的主要目标是设计成基于 POSIX 的没有单点故障的分布式文件系统,使数据能容错和无缝的复制。
相关链接:

对于我们运维人来讲,备份容灾这部分可能是重点需要考虑的方向,那么今天就让我们围绕此话题展开讨论。


讨论问题:
1.在数据备份时,如何保证多个数据副本的一致性?
2.系统出现机器或网络故障时,如何保持系统的高可用性?
3.有哪些主流的分布式系统常用的技术?


活动时间:2017年2月28日—3月28日


活动奖励:

活动结束后将会抽取5名会员赠送《分布式系统常用技术及案例分析》


作者: 柳伟卫   
出版社:电子工业出版社
ISBN:9787121307713
上架时间:2017-2-10
出版日期:2017 年2月
开本:16开
页码:700
版次:1-1
所属分类:计算机 > 软件与程序设计 > 分布式系统设计



内容简介:《分布式系统常用技术及案例分析》分为三大部分,即分布式系统基础理论、分布式系统常用技术以及经典的分布式系统案例分析。第一部分主要介绍分布式系统基础理论知识,总结一些在设计分布式系统时需要考虑的范式、知识点以及可能会面临的问题,其中包括线程、通信、一致性、容错性、CAP理论、安全性和并发等相关内容;同时讲述分布式系统的常见架构体系,其中也包括最近比较火的RESTful风格架构、微服务、容器技术等。第二部分主要列举了在分布式系统应用中经常用到的一些主流技术,并介绍这些技术的作用和用法;这些技术涵盖了分布式消息服务、分布式计算、分布式存储、分布式监控系统、分布式版本控制、RESTful、微服务、容器等领域的内容。第三部分选取了以淘宝网和Twitter为代表的国内外知名互联网企业的大型分布式系统案例,分析其架构设计以及演变过程;这部分相当于是对第二部分零散的技术点做一个"串烧",让读者可以结合技术的理论,看到实战的效果。

样章试读: 分布式系统常用技术及案例分析试读文章.pdf (1.16 MB, 下载次数: 38)

论坛徽章:
18
卯兔
日期:2013-09-27 17:41:0615-16赛季CBA联赛之佛山
日期:2016-07-09 17:34:45操作系统版块每周发帖之星
日期:2015-12-02 15:01:04IT运维版块每日发帖之星
日期:2015-12-02 06:20:00IT运维版块每日发帖之星
日期:2015-10-07 06:20:00IT运维版块每日发帖之星
日期:2015-10-03 06:20:00IT运维版块每日发帖之星
日期:2015-10-01 06:20:00羊年新春福章
日期:2015-04-01 17:56:06拜羊年徽章
日期:2015-04-01 17:56:062015年迎新春徽章
日期:2015-03-04 09:49:452015年辞旧岁徽章
日期:2015-03-03 16:54:15天秤座
日期:2015-01-14 06:39:28
发表于 2017-03-01 08:46 |显示全部楼层
支持楠楠同学,好书...............

占座更新

论坛徽章:
0
发表于 2017-03-01 16:17 |显示全部楼层
数据备份,非常重要!

论坛徽章:
69
15-16赛季CBA联赛之青岛
日期:2017-05-12 11:03:28数据库技术版块每日发帖之星
日期:2016-07-09 06:20:00操作系统版块每日发帖之星
日期:2016-07-09 06:20:00数据库技术版块每日发帖之星
日期:2016-07-07 06:20:00操作系统版块每日发帖之星
日期:2016-07-07 06:20:00操作系统版块每日发帖之星
日期:2016-07-04 06:20:00数据库技术版块每日发帖之星
日期:2016-07-03 06:20:00操作系统版块每日发帖之星
日期:2016-07-03 06:20:00数据库技术版块每日发帖之星
日期:2016-07-02 06:20:00操作系统版块每日发帖之星
日期:2016-07-02 06:20:00每日论坛发贴之星
日期:2016-07-01 06:20:00操作系统版块每日发帖之星
日期:2016-07-01 06:20:00
发表于 2017-03-01 18:52 |显示全部楼层
赞一个  

论坛徽章:
69
15-16赛季CBA联赛之青岛
日期:2017-05-12 11:03:28数据库技术版块每日发帖之星
日期:2016-07-09 06:20:00操作系统版块每日发帖之星
日期:2016-07-09 06:20:00数据库技术版块每日发帖之星
日期:2016-07-07 06:20:00操作系统版块每日发帖之星
日期:2016-07-07 06:20:00操作系统版块每日发帖之星
日期:2016-07-04 06:20:00数据库技术版块每日发帖之星
日期:2016-07-03 06:20:00操作系统版块每日发帖之星
日期:2016-07-03 06:20:00数据库技术版块每日发帖之星
日期:2016-07-02 06:20:00操作系统版块每日发帖之星
日期:2016-07-02 06:20:00每日论坛发贴之星
日期:2016-07-01 06:20:00操作系统版块每日发帖之星
日期:2016-07-01 06:20:00
发表于 2017-03-01 18:54 |显示全部楼层
分布式系统涉及到的技术比较多

论坛徽章:
10
CU大牛徽章
日期:2013-05-20 10:44:54数据库技术版块每日发帖之星
日期:2015-06-09 22:20:00IT运维版块每日发帖之星
日期:2015-06-05 22:20:00亥猪
日期:2014-08-23 14:52:27摩羯座
日期:2013-11-29 18:02:31CU十二周年纪念徽章
日期:2013-10-24 15:41:34CU大牛徽章
日期:2013-05-20 10:45:31CU大牛徽章
日期:2013-05-20 10:45:24CU大牛徽章
日期:2013-05-20 10:45:13综合交流区版块每日发帖之星
日期:2016-02-12 06:20:00
发表于 2017-03-01 22:40 |显示全部楼层
求书一本

论坛徽章:
3
15-16赛季CBA联赛之同曦
日期:2016-03-15 17:09:4315-16赛季CBA联赛之新疆
日期:2016-04-18 14:21:37shanzhi
日期:2016-06-17 17:59:31
发表于 2017-03-02 13:40 |显示全部楼层
数据一致性看起来容易做起来难,现在一般都是打时间戳,按时间来同步的吧

论坛徽章:
3
15-16赛季CBA联赛之同曦
日期:2016-03-15 17:09:4315-16赛季CBA联赛之新疆
日期:2016-04-18 14:21:37shanzhi
日期:2016-06-17 17:59:31
发表于 2017-03-03 12:48 |显示全部楼层
1.在数据备份时,如何保证多个数据副本的一致性?
    就我个人理解,分布式系统的存储,涉及到了不同的物理区,只要分开了,那各物理区之间就必定涉及到通信,那只要涉及到通信了,肯定存在某一个时刻只完成一部分的业务操作,在通信完成的这一段时间内,数据就是不一致性的。如果要求保证一致性,那么就必须在通信完成这一段时间内保护数据,使得任何访问这些数据的操作不可用,或者数据就别分开了,数据库里面那个CAP原理在这儿也很适用。
    不过,在保持多个数据副本一致性上也有很多前辈的努力的,例如加锁,有各种各样的算法,大致意思就是在整个数据处理过程中将数据处于锁定状态,在用户修改数据的同时,其它用户不允许修改,等这个用户完事提交了,数据同步完成了再解锁,不过这样会大大影响效率。还有就是如果对数据的一致要求没那么高,那就保持数据的弱一致性。接着前面的例子,用户在修改数据的同时,允许其他用户同样也可以修改,这时候数据是不一致的,等大家都修改完了,再同步数据,这时数据又是一致的了。
2.系统出现机器或网络故障时,如何保持系统的高可用性?
    这个是接着问题1的吧,既然已经保存了多个数据副本,数据又能有条件的保持一致,那么,只要多个副本的数据是一致的,在机器故障引起某些副本失效时,其它副本仍然能提供服务,并能够在最短的时间内修复故障。
3.有哪些主流的分布式系统常用的技术?
分布式计算,分布式存储,分布式文件系统,分布式数据库,容器,微服务等

论坛徽章:
34
CU大牛徽章
日期:2013-04-17 11:10:17CU大牛徽章
日期:2013-09-18 15:26:10狮子座
日期:2013-09-27 17:44:07CU十二周年纪念徽章
日期:2013-10-24 15:41:34射手座
日期:2013-10-24 21:01:23辰龙
日期:2013-12-20 17:07:19狮子座
日期:2014-05-12 11:00:00寅虎
日期:2014-06-04 16:25:27IT运维版块每日发帖之星
日期:2015-08-17 06:20:002015亚冠之首尔
日期:2015-11-04 22:25:43数据库技术版块每日发帖之星
日期:2015-12-01 06:20:00平安夜徽章
日期:2015-12-26 00:06:30
发表于 2017-03-03 17:43 |显示全部楼层
分布式原理比较复杂,不过我等吃瓜群众拿来用就好了。
副本提升可靠性。写一致性就交给作者了。
小文件fastdfs,
大文件hdfs,
日志es
对象SSDB
配置状态:etcd/zookeeper
ceph/swift这些还是先观望。

论坛徽章:
0
发表于 2017-03-13 15:53 |显示全部楼层
1.在数据备份时,如何保证多个数据副本的一致性?
答:一个是设定主从,进行差异备份,数据库进行行级锁。通过判定日志时间确定“最新”的副本。
2.系统出现机器或网络故障时,如何保持系统的高可用性?
答:硬件层面高可用采用N机N线来解决,如三级双线(电信、联通)。软件层面采用资源池,逻辑复用等方式提交,如果逻辑提交失败再次提交或者让用户重新提交。也可以像12306或者小米那样进入排队进程。
3.有哪些主流的分布式系统常用的技术?
1.内存数据库2.数据保存在内存中,需要的时候才写入到硬盘中,通过逻辑分成实现大规模,高可用。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

SACC2017购票8.8折优惠进行时

2017中国系统架构师大会(SACC2017)将于10月19-21日在北京新云南皇冠假日酒店震撼来袭。今年,大会以“云智未来”为主题,云集国内外顶级专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。本届大会共设置2大主会场,18个技术专场;邀请来自互联网、金融、制造业、电商等多个领域,100余位技术专家及行业领袖来分享他们的经验;并将吸引4000+人次的系统运维、架构师及IT决策人士参会,为他们提供最具价值的交流平台。
----------------------------------------
优惠时间:2017年8月2日前

活动链接>>
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP