免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 3455 | 回复: 22

[算法] 交易并行度设计 [复制链接]

论坛徽章:
15
射手座
日期:2014-11-29 19:22:4915-16赛季CBA联赛之青岛
日期:2017-11-17 13:20:09黑曼巴
日期:2017-07-13 19:13:4715-16赛季CBA联赛之四川
日期:2017-02-07 21:08:572015年亚冠纪念徽章
日期:2015-11-06 12:31:58每日论坛发贴之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-07-12 22:20:002015亚冠之浦和红钻
日期:2015-07-08 10:10:132015亚冠之大阪钢巴
日期:2015-06-29 11:21:122015亚冠之广州恒大
日期:2015-05-22 21:55:412015年亚洲杯之伊朗
日期:2015-04-10 16:28:25
发表于 2015-08-17 11:21 |显示全部楼层
本帖最后由 yulihua49 于 2015-08-17 12:50 编辑

初次架构并行交易系统的朋友们,往往注重并行度,异步化这些问题。
但是,事情并非是越并行,越异步越好。
先说并行度的问题:
在一个分布式交易系统中,有好多环节分布在不同的服务器上,每个环节会产生每个环节的瓶颈。但是,整个系统必然有一个主瓶颈。最常见的主瓶颈是数据库,有时也可能是网络带宽。
对于数据库来说,有一个最佳并行度,它不是一个值,而是一个范围,在这个范围之外效率会降低。其他环节的并行度,受限于这个并行度,过高的并行度并无好处。
再说异步操作问题:
并非是异步操作比同步操作高效,相反,异步操作通常效率较低(这里所说的异步,并不单纯指异步IO,有些业务处理也可以异步的)。那么我们为什么要考虑异步操作呢?为了并行操作服务。
异步操作是为了腾出CPU进行其他任务,也就是并行辅助手段。并行和异步都是有开销的,有时开销还很大。
如果一个大的作业被划分成小的并行单元,这个单元过小,为他付出并行和异步开销是否合算?

所以,并行架构设计要注意三个适度:

适度并行。

适度异步。

适度粒度(批量).

对于OLAP(在线分析处理,通常是在线交易分析),对于大批量的数据源,通常是需要拆分成小的并行单元。他的处理环节也比较多,哪里设计并行,哪里需要异步,批次大小的选择,有时就需要一个或几个demo系统,综合评价一下。
而OLTP(在线交易处理),通常处理的颗粒度很小,往往需要合并。一个用户不太容易与另外的用户合并。应该是把自己的各个步骤合并,而不是拆分。典型的,例如12306那样的交易系统,可以把:到发站车次查询,时刻表查询,票价查询,席位余额查询合并。事实上也是这么做的。


论坛徽章:
274
射手座
日期:2013-08-23 12:04:38射手座
日期:2013-08-23 16:18:12未羊
日期:2013-08-30 14:33:15水瓶座
日期:2013-09-02 16:44:31摩羯座
日期:2013-09-25 09:33:52双子座
日期:2013-09-26 12:21:10金牛座
日期:2013-10-14 09:08:49申猴
日期:2013-10-16 13:09:43子鼠
日期:2013-10-17 23:23:19射手座
日期:2013-10-18 13:00:27金牛座
日期:2013-10-18 15:47:57午马
日期:2013-10-18 21:43:38
发表于 2015-08-17 13:22 |显示全部楼层
说了跟没说一样

论坛徽章:
43
15-16赛季CBA联赛之四川
日期:2018-10-13 23:26:5015-16赛季CBA联赛之新疆
日期:2016-04-25 10:55:452016科比退役纪念章
日期:2016-04-23 00:51:2315-16赛季CBA联赛之山东
日期:2016-04-17 12:00:2815-16赛季CBA联赛之福建
日期:2016-04-12 15:21:2915-16赛季CBA联赛之辽宁
日期:2016-03-24 21:38:2715-16赛季CBA联赛之福建
日期:2016-03-18 12:13:4015-16赛季CBA联赛之佛山
日期:2016-02-05 00:55:2015-16赛季CBA联赛之佛山
日期:2016-02-04 21:11:36程序设计版块每日发帖之星
日期:2016-07-02 06:20:0015-16赛季CBA联赛之天津
日期:2016-11-02 00:33:1215-16赛季CBA联赛之浙江
日期:2017-01-13 01:31:49
发表于 2015-08-17 13:32 |显示全部楼层
回复 1# yulihua49

加点细节吧,有实例最好。
然后就可以入选精华了

论坛徽章:
36
子鼠
日期:2013-08-28 22:23:29黄金圣斗士
日期:2015-12-01 11:37:51程序设计版块每日发帖之星
日期:2015-12-14 06:20:00CU十四周年纪念徽章
日期:2015-12-22 16:50:40IT运维版块每日发帖之星
日期:2016-01-25 06:20:0015-16赛季CBA联赛之深圳
日期:2016-01-27 10:31:172016猴年福章徽章
日期:2016-02-18 15:30:3415-16赛季CBA联赛之福建
日期:2016-04-07 11:25:2215-16赛季CBA联赛之青岛
日期:2016-04-29 18:02:5915-16赛季CBA联赛之北控
日期:2016-06-20 17:38:50技术图书徽章
日期:2016-07-19 13:54:03程序设计版块每日发帖之星
日期:2016-08-21 06:20:00
发表于 2015-08-17 13:40 |显示全部楼层
新产品的话,宁愿golang从头,大多数情况都是顺序编程

论坛徽章:
15
射手座
日期:2014-11-29 19:22:4915-16赛季CBA联赛之青岛
日期:2017-11-17 13:20:09黑曼巴
日期:2017-07-13 19:13:4715-16赛季CBA联赛之四川
日期:2017-02-07 21:08:572015年亚冠纪念徽章
日期:2015-11-06 12:31:58每日论坛发贴之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-07-12 22:20:002015亚冠之浦和红钻
日期:2015-07-08 10:10:132015亚冠之大阪钢巴
日期:2015-06-29 11:21:122015亚冠之广州恒大
日期:2015-05-22 21:55:412015年亚洲杯之伊朗
日期:2015-04-10 16:28:25
发表于 2015-08-17 13:40 |显示全部楼层
本帖最后由 yulihua49 于 2015-08-17 14:11 编辑
yulihua49 发表于 2015-08-17 11:21
初次架构并行交易系统的朋友们,往往注重并行度,异步化这些问题。
但是,事情并非是越并行,越异步越好。 ...

这是在一个OLAP项目中有感,设计者做了一个处处异步,点点并行的方案,粒度划分的非常小。
有一个普遍的意识,似乎异步处理性能要高于同步处理。

我的想法是在拆分(map-reduce的主map点)的主节点上提供有限的异步就可以了。
比如后台有8个并行度,主分发节点map异步发出16个包,其中8个被处理,8个在等待。然后就不必继续map了,等一下,处理掉多少再map多少。尽量减少处于未完成状态的交易数量。(设计者的观点,数据全部抓过来,处理不了的都放在内存队列,好巨大啊,都是未完成态,然后是事务完整性管理。。。哪些做好了,哪些失败了,需要commit?rollback?redo?abort?。处处异步,无限度的异步。)
其余节点都是同步处理,这样容易保证交易完整性。

还有粒度,小到一个处理只需几十微秒,为他开销了好几个毫秒的异步和并行。

论坛徽章:
15
射手座
日期:2014-11-29 19:22:4915-16赛季CBA联赛之青岛
日期:2017-11-17 13:20:09黑曼巴
日期:2017-07-13 19:13:4715-16赛季CBA联赛之四川
日期:2017-02-07 21:08:572015年亚冠纪念徽章
日期:2015-11-06 12:31:58每日论坛发贴之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-07-12 22:20:002015亚冠之浦和红钻
日期:2015-07-08 10:10:132015亚冠之大阪钢巴
日期:2015-06-29 11:21:122015亚冠之广州恒大
日期:2015-05-22 21:55:412015年亚洲杯之伊朗
日期:2015-04-10 16:28:25
发表于 2015-08-17 13:51 |显示全部楼层
本帖最后由 yulihua49 于 2015-08-17 13:54 编辑
cokeboL 发表于 2015-08-17 13:40
新产品的话,宁愿golang从头,大多数情况都是顺序编程

一个旧系统改造项目,重新架构。原系统是顺序的串行系统,单节点操作。新系统是多节点并行操作,一个是要性能,二是要容错,不能有单点故障。语言不是问题,关键是架构,这也看出架构对系统的重要性。
每天要分析4400万交易,逻辑还是相当的复杂。

论坛徽章:
89
水瓶座
日期:2014-04-01 08:53:31天蝎座
日期:2014-04-01 08:53:53天秤座
日期:2014-04-01 08:54:02射手座
日期:2014-04-01 08:54:15子鼠
日期:2014-04-01 08:55:35辰龙
日期:2014-04-01 08:56:36未羊
日期:2014-04-01 08:56:27戌狗
日期:2014-04-01 08:56:13亥猪
日期:2014-04-01 08:56:02亥猪
日期:2014-04-08 08:38:58程序设计版块每日发帖之星
日期:2016-01-05 06:20:00程序设计版块每日发帖之星
日期:2016-01-07 06:20:00
发表于 2015-08-17 15:06 |显示全部楼层
Good!

论坛徽章:
89
水瓶座
日期:2014-04-01 08:53:31天蝎座
日期:2014-04-01 08:53:53天秤座
日期:2014-04-01 08:54:02射手座
日期:2014-04-01 08:54:15子鼠
日期:2014-04-01 08:55:35辰龙
日期:2014-04-01 08:56:36未羊
日期:2014-04-01 08:56:27戌狗
日期:2014-04-01 08:56:13亥猪
日期:2014-04-01 08:56:02亥猪
日期:2014-04-08 08:38:58程序设计版块每日发帖之星
日期:2016-01-05 06:20:00程序设计版块每日发帖之星
日期:2016-01-07 06:20:00
发表于 2015-08-17 15:07 |显示全部楼层
虽然我的系统也要处理打量的数据,不过逻辑什么的还是相对简单的。

论坛徽章:
36
子鼠
日期:2013-08-28 22:23:29黄金圣斗士
日期:2015-12-01 11:37:51程序设计版块每日发帖之星
日期:2015-12-14 06:20:00CU十四周年纪念徽章
日期:2015-12-22 16:50:40IT运维版块每日发帖之星
日期:2016-01-25 06:20:0015-16赛季CBA联赛之深圳
日期:2016-01-27 10:31:172016猴年福章徽章
日期:2016-02-18 15:30:3415-16赛季CBA联赛之福建
日期:2016-04-07 11:25:2215-16赛季CBA联赛之青岛
日期:2016-04-29 18:02:5915-16赛季CBA联赛之北控
日期:2016-06-20 17:38:50技术图书徽章
日期:2016-07-19 13:54:03程序设计版块每日发帖之星
日期:2016-08-21 06:20:00
发表于 2015-08-17 15:08 |显示全部楼层
回复 6# yulihua49


    如果用go的话,可能就不存在这几个问题了

论坛徽章:
15
射手座
日期:2014-11-29 19:22:4915-16赛季CBA联赛之青岛
日期:2017-11-17 13:20:09黑曼巴
日期:2017-07-13 19:13:4715-16赛季CBA联赛之四川
日期:2017-02-07 21:08:572015年亚冠纪念徽章
日期:2015-11-06 12:31:58每日论坛发贴之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-07-12 22:20:002015亚冠之浦和红钻
日期:2015-07-08 10:10:132015亚冠之大阪钢巴
日期:2015-06-29 11:21:122015亚冠之广州恒大
日期:2015-05-22 21:55:412015年亚洲杯之伊朗
日期:2015-04-10 16:28:25
发表于 2015-08-17 15:11 |显示全部楼层
本帖最后由 yulihua49 于 2015-08-17 15:14 编辑
fender0107401 发表于 2015-08-17 15:07
虽然我的系统也要处理打量的数据,不过逻辑什么的还是相对简单的。

如果逻辑简单,也没什么性能、容错方面的要求,当然架构就简单些,谁也不愿意找麻烦。
但是你的业务发展了,有新的要求,架构问题就提到桌面。
新接触并行处理的架构师们,需要一个合理的逻辑,或者叫理念,去设计他的系统。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,7折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时七折期:2019年8月31日前


----------------------------------------

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP