免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: send_linux
打印 上一主题 下一主题

架构师之旅之---从集中式向分布式系统演变过程中面临哪些挑战 [复制链接]

论坛徽章:
3
白羊座
日期:2014-08-25 15:04:112014年中国系统架构师大会
日期:2014-10-14 15:59:002015元宵节徽章
日期:2015-03-06 15:52:30
21 [报告]
发表于 2015-01-17 19:32 来自手机 |只看该作者
支持路过!

论坛徽章:
3
白羊座
日期:2014-08-25 15:04:112014年中国系统架构师大会
日期:2014-10-14 15:59:002015元宵节徽章
日期:2015-03-06 15:52:30
22 [报告]
发表于 2015-01-17 19:34 来自手机 |只看该作者
来学习一下

论坛徽章:
0
23 [报告]
发表于 2015-01-19 14:23 |只看该作者
单机性能到了一定程度后,再想提高,非常困难,即使能提高,代价也极大:高处不胜寒!

所以,能以多台中低档机器堆叠而得到更高的性能,代价就低多了

在很多领域,是可以这样做的:如应用服务器,相互关联性低,最容易实现这种堆叠效果

而数据库,则可能是唯一无法堆叠的领域了
因为 目前还没有 实现了多写多读 的数据库系统,基本都是 一写多读
加再多的机器,也只能分摊读的压力,写只能在一台机上进行,这台机器还是得 单机性能 极高,
而且读的机器的数据,还得源自那台写的机器,所以更增加了那台机器的压力!

论坛徽章:
10
处女座
日期:2015-01-22 16:08:50技术图书徽章
日期:2018-09-13 11:25:52技术图书徽章
日期:2018-09-13 11:25:45技术图书徽章
日期:2018-09-13 11:25:37技术图书徽章
日期:2018-09-13 11:25:29黑曼巴
日期:2018-06-04 09:03:192017金鸡报晓
日期:2017-01-10 15:19:56极客徽章
日期:2016-12-07 14:03:402015年迎新春徽章
日期:2015-03-04 09:50:28技术图书徽章
日期:2018-09-13 11:26:01
24 [报告]
发表于 2015-01-22 16:21 |只看该作者
@send_linux 样章在哪里啊?

论坛徽章:
49
15-16赛季CBA联赛之福建
日期:2016-06-22 16:22:002015年亚洲杯之中国
日期:2015-01-23 16:25:12丑牛
日期:2015-01-20 09:39:23未羊
日期:2015-01-14 23:55:57巳蛇
日期:2015-01-06 18:21:36双鱼座
日期:2015-01-02 22:04:33午马
日期:2014-11-25 09:58:35辰龙
日期:2014-11-18 10:40:07寅虎
日期:2014-11-13 22:47:15申猴
日期:2014-10-22 15:29:50摩羯座
日期:2014-08-27 10:49:43辰龙
日期:2014-08-21 10:47:58
25 [报告]
发表于 2015-01-23 08:44 |只看该作者
michael1983 发表于 2015-01-22 16:21
@send_linux 样章在哪里啊?


已经更新好了,请查看

求职 : Linux运维
论坛徽章:
19
CU大牛徽章
日期:2013-03-13 15:15:0815-16赛季CBA联赛之山东
日期:2016-10-31 10:40:10综合交流区版块每日发帖之星
日期:2016-07-06 06:20:00IT运维版块每日发帖之星
日期:2016-02-08 06:20:00数据库技术版块每日发帖之星
日期:2016-01-15 06:20:00IT运维版块每日发帖之星
日期:2016-01-15 06:20:00IT运维版块每日发帖之星
日期:2016-01-10 06:20:00黄金圣斗士
日期:2015-11-24 10:45:10IT运维版块每日发帖之星
日期:2015-09-01 06:20:00IT运维版块每日发帖之星
日期:2015-08-13 06:20:00IT运维版块每日发帖之星
日期:2015-07-30 09:40:012015年亚洲杯之巴勒斯坦
日期:2015-05-05 10:19:03
26 [报告]
发表于 2015-01-25 14:06 |只看该作者
分布式更符合局部化原理。可以让并行在操作系统层面成为应用的基础构架。从而更好的提供容灾能力,同时也可以更高效的使用系统资源。

论坛徽章:
2
午马
日期:2015-01-27 11:22:392015年辞旧岁徽章
日期:2015-03-03 16:54:15
27 [报告]
发表于 2015-01-26 14:13 |只看该作者

1.集中式与分布式各自的特点有哪些?
目前来看,因为X86平台发展很快, 分布式是一个很好的趋势, 从成本上 完全可以用一群便宜的X86机器集合, 替代一台强大的服务器。

集中处理的好处有很多, 看上去简单,逻辑清晰,不需要太多的保障代码来维护版本和一致性。
分布式的好处呢, 就是尽量地分散业务逻辑, 让集群显得更加强大,  缺点就是要维护好节点之间的通信和一致性。





2.什么是分布式一致性?
打一个比方,就是cpu的单核和多核, 多核cpu可以分散计算任务,但是仍然需要保证事务的完整,需要cpu之间的等待/协调。
节点之间也是如此。

分布式的节点, 要维护的一致性很多。

比如存储, 我们讲shared-nothing和 shared-everything的 架构不一样, 后者需要更多地维护 不同节点之间 对共享存储的读写事务一致性, 存在瓶颈。

如 网络, 我们要维护节点之间的heartbeat通信, 这一点上, 如果节点变多,10个节点变成10000个节点, 那么是否需要 所有节点 都两两通信,还是只需要骨干节点通信? 因为心跳本身就成了 负载了。

如 时间/计时器, 有ntpd或者类似的做法, 如果节点之间的 时间不能做到一致, 那么日志,业务,很多都受影响。






3.如果失去了一致性约束,分布式系统是否还可以依赖?
没有一致性,  分布式就不应该被叫做distributed,  应该被改成 partitioning, separation. 之类的说法,不同的节点上 数据内容/版本都会出现大的不一致, 甚至会有 脑裂现象。




4.  从集中式向分布式系统演变过程中面临哪些挑战

我个人觉得最大的问题, 是目前的节点数量和数据量的快速增长。
比如一个集群, 本来有一个主节点来监视管理其他节点资源。   是二层的。
节点快速增长以后, 不得不放弃这个节点管理所有节点,  转而管理 较少的 二级节点, 其他节点 分别向这些二级节点提交状态,  这就是三层的。

分布式的一个方向,就是不断地分层,来化解节点增长的幂级影响。 但这个也是有困难的。分层太多, 又陷入一开始的问题了。

另外一个方向, 就是弱化主节点的功能,本来 查询集群状态,需要向一个主节点发出请求。 而改进后,只需要向集群发出请求,  由集群上 有资源,权限的节点自行归并,返回结果。
这个方向看着容易,但很容易出现脑裂, 或者不一致 节点evict的发问。




5.ZooKeeper可以解决哪些问题?
zookeeper用来维护 节点之间的一致性。
但这个东西 本身又需要一堆东西来支持,  要维护zookeeper本身的高可用, 维护watch,维护节点通信,维护锁机制。



6.  说说您读完试读样章后的启发
样章 基本上讲得一些原理, 很浅。 关于事务的一致性,类似ACID这些要求, 不同的产品要求也是不同的。

评分

参与人数 1可用积分 +6 收起 理由
send_linux + 6

查看全部评分

论坛徽章:
18
卯兔
日期:2013-09-27 17:41:0615-16赛季CBA联赛之佛山
日期:2016-07-09 17:34:45操作系统版块每周发帖之星
日期:2015-12-02 15:01:04IT运维版块每日发帖之星
日期:2015-12-02 06:20:00IT运维版块每日发帖之星
日期:2015-10-07 06:20:00IT运维版块每日发帖之星
日期:2015-10-03 06:20:00IT运维版块每日发帖之星
日期:2015-10-01 06:20:00羊年新春福章
日期:2015-04-01 17:56:06拜羊年徽章
日期:2015-04-01 17:56:062015年迎新春徽章
日期:2015-03-04 09:49:452015年辞旧岁徽章
日期:2015-03-03 16:54:15天秤座
日期:2015-01-14 06:39:28
28 [报告]
发表于 2015-01-27 12:57 |只看该作者
回复 29# to407


    拜读了......

论坛徽章:
72
20周年集字徽章-20	
日期:2020-10-28 14:04:30操作系统版块每日发帖之星
日期:2016-07-13 06:20:0015-16赛季CBA联赛之广夏
日期:2016-07-10 09:04:02数据库技术版块每日发帖之星
日期:2016-07-09 06:20:00操作系统版块每日发帖之星
日期:2016-07-09 06:20:00数据库技术版块每日发帖之星
日期:2016-07-07 06:20:00操作系统版块每日发帖之星
日期:2016-07-07 06:20:00操作系统版块每日发帖之星
日期:2016-07-04 06:20:00数据库技术版块每日发帖之星
日期:2016-07-03 06:20:00操作系统版块每日发帖之星
日期:2016-07-03 06:20:00数据库技术版块每日发帖之星
日期:2016-07-02 06:20:00操作系统版块每日发帖之星
日期:2016-07-02 06:20:00
29 [报告]
发表于 2015-01-30 11:08 |只看该作者
楼主,发书了吗?@楼主

求职 : Linux运维
论坛徽章:
19
CU大牛徽章
日期:2013-03-13 15:15:0815-16赛季CBA联赛之山东
日期:2016-10-31 10:40:10综合交流区版块每日发帖之星
日期:2016-07-06 06:20:00IT运维版块每日发帖之星
日期:2016-02-08 06:20:00数据库技术版块每日发帖之星
日期:2016-01-15 06:20:00IT运维版块每日发帖之星
日期:2016-01-15 06:20:00IT运维版块每日发帖之星
日期:2016-01-10 06:20:00黄金圣斗士
日期:2015-11-24 10:45:10IT运维版块每日发帖之星
日期:2015-09-01 06:20:00IT运维版块每日发帖之星
日期:2015-08-13 06:20:00IT运维版块每日发帖之星
日期:2015-07-30 09:40:012015年亚洲杯之巴勒斯坦
日期:2015-05-05 10:19:03
30 [报告]
发表于 2015-02-18 09:04 |只看该作者
无状态高性能网络协议 Trickles将让分布式系统的连接更高效。这为“皮层”特性提供了技术上的准备和支持
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP