免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: send_linux

架构师之旅之---从集中式向分布式系统演变过程中面临哪些挑战 [复制链接]

论坛徽章:
49
15-16赛季CBA联赛之福建
日期:2016-06-22 16:22:002015年亚洲杯之中国
日期:2015-01-23 16:25:12丑牛
日期:2015-01-20 09:39:23未羊
日期:2015-01-14 23:55:57巳蛇
日期:2015-01-06 18:21:36双鱼座
日期:2015-01-02 22:04:33午马
日期:2014-11-25 09:58:35辰龙
日期:2014-11-18 10:40:07寅虎
日期:2014-11-13 22:47:15申猴
日期:2014-10-22 15:29:50摩羯座
日期:2014-08-27 10:49:43辰龙
日期:2014-08-21 10:47:58
发表于 2015-01-08 09:13 |显示全部楼层
cjfeii 发表于 2015-01-08 09:12
楼主送我一本吧,特别想看 回复 9# send_linux


欢迎多交流,应该问题不大的:)

论坛徽章:
0
发表于 2015-01-08 09:33 |显示全部楼层
赞,支持分布式一致性原理与实践话题。

论坛徽章:
72
20周年集字徽章-20	
日期:2020-10-28 14:04:30操作系统版块每日发帖之星
日期:2016-07-13 06:20:0015-16赛季CBA联赛之广夏
日期:2016-07-10 09:04:02数据库技术版块每日发帖之星
日期:2016-07-09 06:20:00操作系统版块每日发帖之星
日期:2016-07-09 06:20:00数据库技术版块每日发帖之星
日期:2016-07-07 06:20:00操作系统版块每日发帖之星
日期:2016-07-07 06:20:00操作系统版块每日发帖之星
日期:2016-07-04 06:20:00数据库技术版块每日发帖之星
日期:2016-07-03 06:20:00操作系统版块每日发帖之星
日期:2016-07-03 06:20:00数据库技术版块每日发帖之星
日期:2016-07-02 06:20:00操作系统版块每日发帖之星
日期:2016-07-02 06:20:00
发表于 2015-01-08 10:00 |显示全部楼层
多谢楼主
在这里请教一下,分布式数据库中 zookeeper 的部署方案:
1. zookeeper 和存储节点部署在相同节点的不同磁盘;
2. zookeeper 单独部署集群,独立于存储集群;
我们近期需要上zookeeper集群,上面的部署方案哪种比较好?或是有其他的好的方案。
求教各位大神啦。

论坛徽章:
0
发表于 2015-01-12 00:49 |显示全部楼层
1.集中式与分布式各自的特点有哪些?
  
集中式系统部署结构简单,基于底层性能卓越的大型主机,因此无须考虑如何对服务进行多个节点的部署,也就不用考虑多个节点之间的分布式协作问题。 但是维护成本高,硬件成本昂贵,并且越来越不适应现在互联网时代的大型架构系统,单点的系统也导致故障无法恢复,扩展起来困难。
    分布式系统是一个硬件或软件组件分布在不同的网络计算机上,彼此之间仅仅通过消息传递进行通信和协调的系统。优点不必多说,现有的互联网架构基本是分布式系统,容错能力强,硬件便宜,无限扩展。


2.什么是分布式一致性?
  
分布式一致性就是在分布式系统下各个节点的数据使用上的一致性,个人认为这是分布式系统最大的难点,如何保证各节点数据的同步更新。正常情况下,一个数据项上执行读操作时,它期待该操作返回的是该数据在其最后一次写操作之后的结果。在没有全局时钟的情况下,精确的定义哪次写操作是最后一次写操作是十分困难的。


3.如果失去了一致性约束,分布式系统是否还可以依赖?
  
个人认为还是得看具体的应用场景,绝对的一致性是很难达到的状态,系统应该有各种容错机制来恢复一致性,自动纠错的功能,对于一些网络论坛,即时通信的系统而言无须太高的数据一致性需求,对于电商交易系统必须得有多种一致性约束,利用分布式事务和锁完成强一致性


4.  从集中式向分布式系统演变过程中面临哪些挑战
  
正如之前所说,主要是高并发情况下数据一致性的问题,由于系统从单点到多点,系统的架构的复杂度高了很多,不过现在开源的解决方案很多,各种缓存框架也都有分布式解决策略,再加上类似淘宝dubbo之类的soa治理方案,使得大规模,多服务的超大型系统,都可以利用这些现有的方案低成本的解决问题。


5.ZooKeeper可以解决哪些问题?
  
这个问题其实在前面都说了很多次了,Zookeeper可以说是目前使用的最多的集群解决方案,解决分布式系统数据一致性的问题,协调分布式系统节点之间的通信与治理,以及高并发的负载均衡,可以说是分布式一致性问题的工业解决方案了。


6.  说说您读完试读样章后的启发
  
网上搜了一下本书也是阿里巴巴一个高级工程师写的,阿里这种类型的书确实出了好几本了,确实写都还不错,本书先讲了分布式系统的概念,然后就是Zookeeper的实践和技术讲解了,还是很有实战价值的一本书,值得一阅。

论坛徽章:
0
发表于 2015-01-12 14:30 |显示全部楼层
一直都很热门

论坛徽章:
0
发表于 2015-01-12 14:30 |显示全部楼层
utu:utu:utu:utu:

论坛徽章:
49
15-16赛季CBA联赛之福建
日期:2016-06-22 16:22:002015年亚洲杯之中国
日期:2015-01-23 16:25:12丑牛
日期:2015-01-20 09:39:23未羊
日期:2015-01-14 23:55:57巳蛇
日期:2015-01-06 18:21:36双鱼座
日期:2015-01-02 22:04:33午马
日期:2014-11-25 09:58:35辰龙
日期:2014-11-18 10:40:07寅虎
日期:2014-11-13 22:47:15申猴
日期:2014-10-22 15:29:50摩羯座
日期:2014-08-27 10:49:43辰龙
日期:2014-08-21 10:47:58
发表于 2015-01-12 18:03 |显示全部楼层
sunlili1230 发表于 2015-01-12 14:30


请不要灌水哦

论坛徽章:
18
卯兔
日期:2013-09-27 17:41:0615-16赛季CBA联赛之佛山
日期:2016-07-09 17:34:45操作系统版块每周发帖之星
日期:2015-12-02 15:01:04IT运维版块每日发帖之星
日期:2015-12-02 06:20:00IT运维版块每日发帖之星
日期:2015-10-07 06:20:00IT运维版块每日发帖之星
日期:2015-10-03 06:20:00IT运维版块每日发帖之星
日期:2015-10-01 06:20:00羊年新春福章
日期:2015-04-01 17:56:06拜羊年徽章
日期:2015-04-01 17:56:062015年迎新春徽章
日期:2015-03-04 09:49:452015年辞旧岁徽章
日期:2015-03-03 16:54:15天秤座
日期:2015-01-14 06:39:28
发表于 2015-01-13 13:14 |显示全部楼层
本帖最后由 qingduo04 于 2015-01-27 08:50 编辑


1.集中式与分布式各自的特点有哪些?
集中式主要强调整个系统只使用一份数据,数据全部存储在一个系统汇总,由数据库管理,终端(客户端)等必须连上服务器才能进行数据查询等工作,类似于传统数据库。
特点:维护简单
        数据一致性高
        服务器性能要求高
   投资预算高
   可扩展性差
分布式是指每一个客户端都有数据的副本,查询等的数据操作都使用副本进行,客户端的数据会与核心数据进行交互,类似于hadoop架构。
特点:
维护复杂
可以基于廉价的PC服务器建设
投资较低
可扩展性强

2.什么是分布式一致性?
专业的答案不清楚,只能按照个人理解回复,在保证权限一致的条件下,需要确保所有的用户访问的数据是准确的,数据更新是一致的,时间刻度是一致的,日志读写是一致的。
样章中表述为:因果一致性、读写之所写、会话一致性、单调读一致性、单调写一致性

3.如果失去了一致性约束,分布式系统是否还可以依赖?
不可以依赖,如果一致性约束取消,则对于数据准确度出现偏差,比如有的服务器在回滚,有的已经commit。
  

4.  从集中式向分布式系统演变过程中面临哪些挑战
第一:集中式的业务要求,分布式是否能满足? 比如集中式是OLTP,实时系统,分布式是否能满足?
如满足第一的问题,则后续面临
1. 业务搬迁的操作
2. 是否满足中间件的访问操作
3. 部分语法是否满足
4. 并行测试
5. .......

5.ZooKeeper可以解决哪些问题?
ZK主要是为了解决分布式系统的管理、负载、维护、高可用性等提出的。
6.  说说您读完试读样章后的启发
样张主要是涉及到绪论、第一章、第二章、第三章的内容,主要对集中式向分布式转变面临的挑战,并简介了ACID等经典分布式理论
书不错,尤其是封页更不错


求职 : Linux运维
论坛徽章:
19
CU大牛徽章
日期:2013-03-13 15:15:0815-16赛季CBA联赛之山东
日期:2016-10-31 10:40:10综合交流区版块每日发帖之星
日期:2016-07-06 06:20:00IT运维版块每日发帖之星
日期:2016-02-08 06:20:00数据库技术版块每日发帖之星
日期:2016-01-15 06:20:00IT运维版块每日发帖之星
日期:2016-01-15 06:20:00IT运维版块每日发帖之星
日期:2016-01-10 06:20:00黄金圣斗士
日期:2015-11-24 10:45:10IT运维版块每日发帖之星
日期:2015-09-01 06:20:00IT运维版块每日发帖之星
日期:2015-08-13 06:20:00IT运维版块每日发帖之星
日期:2015-07-30 09:40:012015年亚洲杯之巴勒斯坦
日期:2015-05-05 10:19:03
发表于 2015-01-13 14:06 |显示全部楼层
上次看了看ETCD这东西,感觉可以很好的解决细胞节点间的通信问题。不知道哪位哥们有研究或者介绍下详细的技术细节和应用实例

求职 : Linux运维
论坛徽章:
19
CU大牛徽章
日期:2013-03-13 15:15:0815-16赛季CBA联赛之山东
日期:2016-10-31 10:40:10综合交流区版块每日发帖之星
日期:2016-07-06 06:20:00IT运维版块每日发帖之星
日期:2016-02-08 06:20:00数据库技术版块每日发帖之星
日期:2016-01-15 06:20:00IT运维版块每日发帖之星
日期:2016-01-15 06:20:00IT运维版块每日发帖之星
日期:2016-01-10 06:20:00黄金圣斗士
日期:2015-11-24 10:45:10IT运维版块每日发帖之星
日期:2015-09-01 06:20:00IT运维版块每日发帖之星
日期:2015-08-13 06:20:00IT运维版块每日发帖之星
日期:2015-07-30 09:40:012015年亚洲杯之巴勒斯坦
日期:2015-05-05 10:19:03
发表于 2015-01-15 18:21 |显示全部楼层
分布式具有天然的优势。太过集中,最后就是灾难。我倒是更倾向于本地化系统具有一个通用的软件组件来作为细胞节点和整个群之间的关系判定,从而决定自己的服务模式。这样就会自然地形成一个整体上的逻辑系统。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP