服务器“惊群”的解决

hustacchensi

我们已经见到当一个进程调用 wake_up 在等待队列上, 所有的在这个队列上等待的进程被置为可运行的. 在许多情况下, 这是正确的做法. 但是, 在别的情况下, 可能提前知道只有一个被唤醒的进程将成功获得需要的资源, 并且其余的将简单地再次睡眠. 每个这样的进程, 但是, 必须获得处理器, 竞争资源(和任何的管理用的锁), 并且明确地回到睡眠. 如果在等待队列中的进程数目大, 这个"惊群"行为可能严重降低系统的性能.
为应对实际世界中的惊群问题, 内核开发者增加了一个"互斥等待"选项到内核中. 一个互斥等待的行为非常象一个正常的睡眠, 有 2 个重要的不同:

当一个等待队列入口有 WQ_FLAG_EXCLUSEVE 标志置位, 它被添加到等待队列的尾部. 没有这个标志的入口项, 相反, 添加到开始.

当 wake_up 被在一个等待队列上调用, 它在唤醒第一个有 WQ_FLAG_EXCLUSIVE 标志的进程后停止.

最后的结果是进行互斥等待的进程被一次唤醒一个, 以顺序的方式, 并且没有引起惊群问题. 但内核仍然每次唤醒所有的非互斥等待者.
在驱动中采用互斥等待是要考虑的, 如果满足 2 个条件: 你希望对资源的有效竞争, 并且唤醒一个进程就足够来完全消耗资源当资源可用时. 互斥等待对 Apacheweb 服务器工作地很好, 例如; 当一个新连接进入, 确实地系统中的一个 Apache 进程应当被唤醒来处理它. 我们在 scullpipe 驱动中不使用互斥等待, 但是; 很少见到竞争数据的读者(或者竞争缓冲空间的写者), 并且我们无法知道一个读者, 一旦被唤醒, 将消耗所有的可用数据.
使一个进程进入可中断的等待, 是调用 prepare_to_wait_exclusive 的简单事情:
void prepare_to_wait_exclusive(wait_queue_head_t *queue, wait_queue_t *wait, int state);
这个调用, 当用来代替 prepare_to_wait, 设置"互斥"标志在等待队列入口项并且添加这个进程到等待队列的尾部. 注意没有办法使用 wait_event 和它的变体来进行互斥等待.

看看accept的源代码
for (;;) {
prepare_to_wait_exclusive(sk->sk_sleep, &wait,
       TASK_INTERRUPTIBLE);
  release_sock(sk);
  if (reqsk_queue_empty(&icsk->icsk_accept_queue))
   timeo = schedule_timeout(timeo);
  lock_sock(sk);
  err = 0;
  if (!reqsk_queue_empty(&icsk->icsk_accept_queue))
   break;
  err = -EINVAL;
  if (sk->sk_state != TCP_LISTEN)
   break;
  err = sock_intr_errno(timeo);
  if (signal_pending(current))
   break;
  err = -EAGAIN;
  if (!timeo)
   break;
}
finish_wait(sk->sk_sleep, &wait);


本文来自ChinaUnix博客，如果查看原文请点：http://blog.chinaunix.net/u3/110957/showart_2161610.html