epoll_wait有惊群效应吗？

Aquester

环境是多线程，不是多进程，即多个线程对同一个epfd调用epoll_wait，当epoll_wait返回大于时，先判断是否为监听套接字可读，如果是就调用accept接受连接请求，现在的现象是accept会返回EWOULDBLOCK，从这可推断出epoll_wait出现了惊群效应，否则accept不应当失败，置errno为EWOULDBLOCK。

思一克

LZ的程序结构有问题吧? epoll_wait不需要多个进程同时wait. 应是一个进程的主循环wait. 这也是有poll这样的机制的本来意义所在

UnixStudier

原帖由 Aquester 于 2008-5-6 14:29 发表
环境是多线程，不是多进程，即多个线程对同一个epfd调用epoll_wait，当epoll_wait返回大于时，先判断是否为监听套接字可读，如果是就调用accept接受连接请求，现在的现象是accept会返回EWOULDBLOCK，从这可推断 ...

似乎是程序有问题。只用一个线程调用epoll_wait，然后把可读写的socket交给专门的线程读写。

我最近也在这方面的程序。有机会可以讨论讨论哦.

mingyanguo

原帖由 思一克 于 2008-5-6 06:49 发表
LZ的程序结构有问题吧? epoll_wait不需要多个进程同时wait. 应是一个进程的主循环wait. 这也是有poll这样的机制的本来意义所在

程序的结构可能有点问题，不过问题不大吧。为了利用MP而在多个进程/线程中同时poll/epoll然后各自处理，我觉得问题也不大啊。如果有惊群问题的话，倒是应该修正了。

muxingren

我试过，在多进程环境下，所有的子进程都epoll_wait同一个epoll fd，确实有“惊群”现象，不过不是所有子进程都被唤醒，而是某几个被唤醒，其中有的出现EAGAIN错误。

converse

http://www.cppblog.com/converse/archive/2008/10/08/63504.html

swxlion

同意12、13楼。
我在我的项目中一直只使用一个epoll_wait对一个epfd.epoll_wait后，将fd传入线程调配模块交给其他线程处理。
这样即使有惊群效应，也不会对我的程序有任何影响。

xinglp

挖坟呢

zhoubug

据我所知多进程下是没有问题的，至少在比较新的平台，你的模型和apache的event mpm类似 据闻nginx也是这样使用 熟悉的可以证实下 有两点
可能会对此有影响：1，epoll_wait 的句柄需要在父进程中调用listen
                           2,  epoll_wait的fd_set 是在你的子进程中创建

根据目前的测试 没有发现问题
再说下这样的好处 还是多进程的好处 即使一个进程挂掉 服务不会有影响 再结合一个执行简单维护子进程工作的父进程，稳定，高效。

Hi,

If multiple threads are parked on epoll_wait (on a single epoll fd) and
events become available, epoll performs a wake up of all threads of the
poll wait list, causing a thundering herd of processes trying to grab
the eventpoll lock.

This patch addresses this by using exclusive waiters (wake one). Once
the exclusive thread finishes transferring it's events, a new thread
is woken if there are more events available.

Makes sense?

Signed-off-by: Davi E. M. Arnaut <davi@haxent.com.br>

---
fs/eventpoll.c |    7 +++++++
1 file changed, 7 insertions(+)
Index: linux-2.6/fs/eventpoll.c
===================================================================
--- linux-2.6.orig/fs/eventpoll.c
+++ linux-2.6/fs/eventpoll.c
@@ -1491,6 +1491,12 @@ static void ep_reinject_items(struct eve
                }
        }

+        /*
+         * If there is events available, wake up the next waiter, if any.
+         */
+        if (!ricnt)
+                ricnt = !list_empty(&ep->rdllist);
+
        if (ricnt) {
                /*
                 * Wake up ( if active ) both the eventpoll wait list and the ->poll()
@@ -1570,6 +1576,7 @@ retry:
                 * ep_poll_callback() when events will become available.
                 */
                init_waitqueue_entry(&wait, current);
+                wait.flags |= WQ_FLAG_EXCLUSIVE;
                __add_wait_queue(&ep->wq, &wait);

                for (; {

wait.flags |= WQ_FLAG_EXCLUSIVE;
这句是后来加进去的 至少2.6.24后的内核是有的 也就是说这个补丁是被打上拉 设置了互斥进程的标志

[ 本帖最后由 zhoubug 于 2009-5-6 21:08 编辑 ]

converse

多进程的情况下,epoll_create函数应该在创建子进程之后调用,这样就不会出现epoll的惊群现象,lighttpd也是这么做的,所以没有出现这个问题.