【实测比较half-sync-half-async模式与leader-follower模式的性能与场景(直播)】

linux_c_py_php

yulihua49 发表于 2013-02-16 18:01
在一个项目开始之前，确实有这个疑惑。
第一个版本就是一个线程监听，把事件分配给线程池。
发现瓶颈竟 ...

感觉理论没问题的依据是什么? 我感觉理论依据有问题, 解释不了的事情需要一个官方解释啊, 不能说压力测试没问题就没问题了, 如果你说epoll_wait会保证一个fd的事件一辈子就分配给一个已分配过的线程, 那我就直接信了.

linux_c_py_php

找到了原因了:

       Since  even  with  edge-triggered  epoll, multiple events can be generated upon receipt of multiple chunks of data, the
       caller has the option to specify the EPOLLONESHOT flag, to tell epoll to disable the associated file  descriptor  after
       the receipt of an event with epoll_wait(2).  When the EPOLLONESHOT flag is specified, it is the caller’s responsibility
       to rearm the file descriptor using epoll_ctl(2) with EPOLL_CTL_MOD.

得给epoll上这个选项, 才能保证epoll_wait内置LF, 是吧.

yulihua49

linux_c_py_php 发表于 2013-02-16 18:13
意思就是N个线程, 共享一个epoll实例, 然后都调用epoll_wait, 然后每个线程分到的event fd都不一样, 并 ...

我用的LT模式，据说不是效率最高的，但是可靠。＋ONESHOT。
想试试ET，项目已投产，没机会了。

linux_c_py_php

而且是根据你之前的一个帖子找到的, 这下牛逼了.

这尼玛内置LF, 直接无敌了... 我也不用动手了, 多线程+无脑epoll... 这岂不是无脑扩展服务承载能力吗, 牛逼了.

windoze

回复 14# linux_c_py_php

多个thread同时对同一个epfd调用epoll_wait是完全正当的。

如果你用EPOLLET或者EPOLLONESHOT，epoll_wait就只通知某一个thread，不会产生惊群。
如果你用level trigger，那epoll_wait就会通知到所有的thread
如果在epoll_wait当中，另一个thread用epoll_ctl加入了已经有事件的fd，那epoll_wait就会立即通知到对应的thread
这本来就是epoll的基本用法，不用担心

linux_c_py_php

yulihua49 发表于 2013-02-16 18:19
我用的LT模式，据说不是效率最高的，但是可靠。＋ONESHOT。
想试试ET，项目已投产，没机会了。

用ET会高效的, 一次event就把data读干净就OK了, 区别不大, 但据说减少了epoll_wait唤醒的次数.

linux_c_py_php

windoze 发表于 2013-02-16 18:21
回复 14# linux_c_py_php

多个thread同时对同一个epfd调用epoll_wait是完全正当的。

ET应该也要+ONSHOT才行吧, 我看manpage里是这么说的:

       Since  even  with  edge-triggered  epoll, multiple events can be generated upon receipt of multiple chunks of data, the
       caller has the option to specify the EPOLLONESHOT flag, to tell epoll to disable the associated file  descriptor  after
       the receipt of an event with epoll_wait(2).  When the EPOLLONESHOT flag is specified, it is the caller’s responsibility
       to rearm the file descriptor using epoll_ctl(2) with EPOLL_CTL_MOD.

windoze

回复 27# linux_c_py_php

这是两码事。

Edge Trigger针对的是一个IO事件，它保证对同一个事件只触发一次。
One Shot针对的是一个fd，它保证一个fd产生事件后，在重新enable之前，不会再产生任何事件

linux_c_py_php

linux_c_py_php 发表于 2013-02-16 18:24
ET应该也要+ONSHOT才行吧, 我看manpage里是这么说的:

       Since  even  with  edge-triggered  e ...

这个选项和libevent里~EV_PERSIST是一个设计理念, 有木有.

我感觉这个选项我同事都可能没人知道, 的确有点逆天.

yulihua49

linux_c_py_php 发表于 2013-02-16 18:21
用ET会高效的, 一次event就把data读干净就OK了, 区别不大, 但据说减少了epoll_wait唤醒的次数.

可能是这样的。
我也想试试ET，那就有可能发生那个情况，可以每个event加个状态表明处理步骤。但是状态要想无缝，挺难的。
OO，楼上说没事，那就更好了。

一切基于试验，大家有机会试试吧，结果通报一下。