免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: linux_c_py_php
打印 上一主题 下一主题

[其他] 【实测比较half-sync-half-async模式与leader-follower模式的性能与场景(直播)】 [复制链接]

论坛徽章:
44
15-16赛季CBA联赛之浙江
日期:2021-10-11 02:03:59程序设计版块每日发帖之星
日期:2016-07-02 06:20:0015-16赛季CBA联赛之新疆
日期:2016-04-25 10:55:452016科比退役纪念章
日期:2016-04-23 00:51:2315-16赛季CBA联赛之山东
日期:2016-04-17 12:00:2815-16赛季CBA联赛之福建
日期:2016-04-12 15:21:2915-16赛季CBA联赛之辽宁
日期:2016-03-24 21:38:2715-16赛季CBA联赛之福建
日期:2016-03-18 12:13:4015-16赛季CBA联赛之佛山
日期:2016-02-05 00:55:2015-16赛季CBA联赛之佛山
日期:2016-02-04 21:11:3615-16赛季CBA联赛之天津
日期:2016-11-02 00:33:1215-16赛季CBA联赛之浙江
日期:2017-01-13 01:31:49
31 [报告]
发表于 2013-02-16 18:32 |只看该作者
本帖最后由 windoze 于 2013-02-16 18:34 编辑

回复 29# linux_c_py_php

如果你不希望同一个连接同时被多个thread处理,当然要加上ONESHOT。这样一旦某个thread由于特定fd上的事件被唤醒,直到有人主动enable这个fd之前,其它thread都不会接收到关于这个fd的事件
一般你会在工作线程里处理IO,在最后主动enable这个fd。
这样不能保证一个fd始终由同一个thread处理,但是可以保证一个fd不会同时被多个thread处理。

当然,不加ONESHOT的场合也是存在的,比如处理UDP的时候,可能每个包都是独立的请求,这样即便多个thread同时处理同一个fd也没关系,因为它们处理的是不同的请求。

论坛徽章:
4
水瓶座
日期:2013-09-06 12:27:30摩羯座
日期:2013-09-28 14:07:46处女座
日期:2013-10-24 14:25:01酉鸡
日期:2014-04-07 11:54:15
32 [报告]
发表于 2013-02-16 18:34 |只看该作者
windoze 发表于 2013-02-16 18:27
回复 27# linux_c_py_php

这是两码事。


我以为你说的是ET不需要ONESHOT也自动LF了呢, 理解错了.

还有个问题, epoll_wait自身LF了, 但我要accept与close连接, 我需要自己维护一个Connection数组来做记录, 这个数组的加锁访问(添加新连接, 或者我喜欢把注册的event记录在里面)是没法避免了吧, 这个对性能的损耗影响大吗?

论坛徽章:
44
15-16赛季CBA联赛之浙江
日期:2021-10-11 02:03:59程序设计版块每日发帖之星
日期:2016-07-02 06:20:0015-16赛季CBA联赛之新疆
日期:2016-04-25 10:55:452016科比退役纪念章
日期:2016-04-23 00:51:2315-16赛季CBA联赛之山东
日期:2016-04-17 12:00:2815-16赛季CBA联赛之福建
日期:2016-04-12 15:21:2915-16赛季CBA联赛之辽宁
日期:2016-03-24 21:38:2715-16赛季CBA联赛之福建
日期:2016-03-18 12:13:4015-16赛季CBA联赛之佛山
日期:2016-02-05 00:55:2015-16赛季CBA联赛之佛山
日期:2016-02-04 21:11:3615-16赛季CBA联赛之天津
日期:2016-11-02 00:33:1215-16赛季CBA联赛之浙江
日期:2017-01-13 01:31:49
33 [报告]
发表于 2013-02-16 18:36 |只看该作者
回复 32# linux_c_py_php

为什么要自己维护这个数组呢?epoll_data不是有地方让你放自己的数据么?
既然都用epoll了,该它管的东西就让它管吧。

论坛徽章:
4
水瓶座
日期:2013-09-06 12:27:30摩羯座
日期:2013-09-28 14:07:46处女座
日期:2013-10-24 14:25:01酉鸡
日期:2014-04-07 11:54:15
34 [报告]
发表于 2013-02-16 18:38 |只看该作者
windoze 发表于 2013-02-16 18:32
回复 29# linux_c_py_php

如果你不希望同一个连接同时被多个thread处理,当然要加上ONESHOT。这样一旦某 ...


嗯, 多谢, 这些我可以理解的.

相当于 ONESHOT把epoll_wait和epoll_ctl(DEL)做了原子化,  这样对于应用程序来看基本上已经看不到LF的影子了, 都是epoll自己做的.


带出另外一个疑惑, 你们有没有试过这种情况下,        int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);的maxevents是指定为1还是根据情况设置, 因为我认为如果业务逻辑比较慢, 那么设置为1可以保证任务的散列可以均匀到N个线程, 免得一个业务处理慢让一堆event fd等着而让另外一些线程闲着,  但如果业务逻辑很快, 那么maxevents可以设置较大.

论坛徽章:
15
射手座
日期:2014-11-29 19:22:4915-16赛季CBA联赛之青岛
日期:2017-11-17 13:20:09黑曼巴
日期:2017-07-13 19:13:4715-16赛季CBA联赛之四川
日期:2017-02-07 21:08:572015年亚冠纪念徽章
日期:2015-11-06 12:31:58每日论坛发贴之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-07-12 22:20:002015亚冠之浦和红钻
日期:2015-07-08 10:10:132015亚冠之大阪钢巴
日期:2015-06-29 11:21:122015亚冠之广州恒大
日期:2015-05-22 21:55:412015年亚洲杯之伊朗
日期:2015-04-10 16:28:25
35 [报告]
发表于 2013-02-16 18:38 |只看该作者
linux_c_py_php 发表于 2013-02-16 18:24
ET应该也要+ONSHOT才行吧, 我看manpage里是这么说的:

       Since  even  with  edge-triggered  e ...

找到理论根据了?那就更好了。我是干试的啊,测了几个星期呢。

论坛徽章:
4
水瓶座
日期:2013-09-06 12:27:30摩羯座
日期:2013-09-28 14:07:46处女座
日期:2013-10-24 14:25:01酉鸡
日期:2014-04-07 11:54:15
36 [报告]
发表于 2013-02-16 18:41 |只看该作者
windoze 发表于 2013-02-16 18:36
回复 32# linux_c_py_php

为什么要自己维护这个数组呢?epoll_data不是有地方让你放自己的数据么?


可以的, 如果是优雅退出想释放干净所有的资源, 或者如果我希望有时候可以遍历在线用户需求的话, 就不太方便了.

论坛徽章:
15
射手座
日期:2014-11-29 19:22:4915-16赛季CBA联赛之青岛
日期:2017-11-17 13:20:09黑曼巴
日期:2017-07-13 19:13:4715-16赛季CBA联赛之四川
日期:2017-02-07 21:08:572015年亚冠纪念徽章
日期:2015-11-06 12:31:58每日论坛发贴之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-08-04 06:20:00程序设计版块每日发帖之星
日期:2015-07-12 22:20:002015亚冠之浦和红钻
日期:2015-07-08 10:10:132015亚冠之大阪钢巴
日期:2015-06-29 11:21:122015亚冠之广州恒大
日期:2015-05-22 21:55:412015年亚洲杯之伊朗
日期:2015-04-10 16:28:25
37 [报告]
发表于 2013-02-16 18:41 |只看该作者
linux_c_py_php 发表于 2013-02-16 18:38
嗯, 多谢, 这些我可以理解的.

相当于 ONESHOT把epoll_wait和epoll_ctl(DEL)做了原子化,  这样对于应 ...

我指定为1。
否则又出现单线程分配。

论坛徽章:
44
15-16赛季CBA联赛之浙江
日期:2021-10-11 02:03:59程序设计版块每日发帖之星
日期:2016-07-02 06:20:0015-16赛季CBA联赛之新疆
日期:2016-04-25 10:55:452016科比退役纪念章
日期:2016-04-23 00:51:2315-16赛季CBA联赛之山东
日期:2016-04-17 12:00:2815-16赛季CBA联赛之福建
日期:2016-04-12 15:21:2915-16赛季CBA联赛之辽宁
日期:2016-03-24 21:38:2715-16赛季CBA联赛之福建
日期:2016-03-18 12:13:4015-16赛季CBA联赛之佛山
日期:2016-02-05 00:55:2015-16赛季CBA联赛之佛山
日期:2016-02-04 21:11:3615-16赛季CBA联赛之天津
日期:2016-11-02 00:33:1215-16赛季CBA联赛之浙江
日期:2017-01-13 01:31:49
38 [报告]
发表于 2013-02-16 18:42 |只看该作者
本帖最后由 windoze 于 2013-02-16 18:44 编辑

回复 35# linux_c_py_php

这都哪儿跟哪儿啊?maxevent不就是说你那个epoll_event数组有多大么?跟分布均匀不均匀有什么关系?
好吧我记错了……
指定为1就好了,除非你打算一次处理多个请求

论坛徽章:
4
水瓶座
日期:2013-09-06 12:27:30摩羯座
日期:2013-09-28 14:07:46处女座
日期:2013-10-24 14:25:01酉鸡
日期:2014-04-07 11:54:15
39 [报告]
发表于 2013-02-16 18:42 |只看该作者
yulihua49 发表于 2013-02-16 18:41
我指定为1。
否则又出现单线程分配。


非常和谐..

论坛徽章:
4
水瓶座
日期:2013-09-06 12:27:30摩羯座
日期:2013-09-28 14:07:46处女座
日期:2013-10-24 14:25:01酉鸡
日期:2014-04-07 11:54:15
40 [报告]
发表于 2013-02-16 18:44 |只看该作者
windoze 发表于 2013-02-16 18:42
回复 35# linux_c_py_php

这都哪儿跟哪儿啊?maxevent不就是说你那个epoll_event数组有多大么?跟分布均 ...


5个fd发生可读, 并且假设都能解析到request, 每个request跑10小时, 你有5个线程, 如果设置成5, 那么万一epoll_wait内部实现就是不均匀的散列全分线程1上了, 那就是跑50个小时, 但如果限制maxevent=1, 那就是跑10个小时..
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP