网络编程线程池问题

kkshaq

[code]/* include serv08 */
#include "unpthread.h"
#include "pthread08.h"

static int nthreads;
pthread_mutex_t clifd_mutex = PTHREAD_MUTEX_INITIALIZER;
pthread_cond_t clifd_cond = PTHREAD_COND_INITIALIZER;

int
main(int argc, char **argv)
{
    int i, listenfd, connfd;
    void sig_int(int), thread_make(int);
    socklen_t addrlen, clilen;
    struct sockaddr *cliaddr;

    if (argc == 3)
        listenfd = Tcp_listen(NULL, argv[1], &addrlen);
    else if (argc == 4)
        listenfd = Tcp_listen(argv[1], argv[2], &addrlen);
    else
        err_quit("usage: serv08 [ ] <#threads>");
    cliaddr = Malloc(addrlen);

    nthreads = atoi(argv[argc-1]);

    tptr = Calloc(nthreads, sizeof(Thread));

    iget = iput = 0;

        /* 4create all the threads */
    for (i = 0; i < nthreads; i++)
        thread_make(i); /* only main thread returns */

    Signal(SIGINT, sig_int);

    for ( ; ; ) {
        clilen = addrlen;
        connfd = Accept(listenfd, cliaddr, &clilen);

        Pthread_mutex_lock(&clifd_mutex);
        clifd[iput] = connfd;
        if (++iput == MAXNCLI)
            iput = 0;
        if (iput == iget)
            err_quit("iput = iget = %d", iput);
        Pthread_cond_signal(&clifd_cond);
        Pthread_mutex_unlock(&clifd_mutex);
    }
}






最近看unp27章中的服务器模型部分，27.12节是并发服务器程序，主线程统一accept
也就是主线程accept，worker线程工作那么模式。作者处理消费者和生产者问题的时候，使用了条件变量和互斥量达到同步。但是我觉得有些问题
作者在考虑循环队列的问题上，是采用如此的策略，在生产者函数中，如果iput==iget，必然是数组缓冲区满，作者直接采用的是、
if (iput == iget)
             err_quit("iput = iget = %d", iput);

也就是说如果生产者的速度，大于消费者的话，我们的主线程只能结束。。这个是不是有待商榷？？对应的情况就是，如果多个客户连接连续产生，工作子线程来不及处理的时候，我们的主线程就自己err_quit了。。
有没有更好的办法？（在只采用一个条件变量的条件下）

yulihua49

kkshaq 发表于 2015-06-28 15:26
[code]/* include serv08 */
#include "unpthread.h"
#include "pthread08.h"

根本不能这么玩。
纯粹是个学生作业，没有实用价值。

主线程接受连接，然后丢给epoll。线程池在epoll_wait。
接受的连接数可大大超过线程数。他们在epoll排队。

kkshaq

yulihua49 发表于 2015-06-28 19:44
根本不能这么玩。
纯粹是个学生作业，没有实用价值。

线程池这个模型还是可以探讨一下啊

消费者和生产者之间同步的问题。。为什么作者不使用真正的共享缓冲区同步呢。让程序可以一直运行下去。。不然像作者这样，共享缓冲区满了，主线程就得退出啊。
不知道是不是我错了，你觉得呢？？

hanzhenlll

文章只是告诉你 线程池实现的简单方式， 如果考虑那么全， 那么多代码 怎么教学生啊，，要考虑篇幅。

yulihua49

kkshaq 发表于 2015-06-28 21:20
线程池这个模型还是可以探讨一下啊

消费者和生产者之间同步的问题。。为什么作者不使用真正的共享缓冲 ...

一般是采用context做缓冲区，是每个连接独享的。
采用epoll作为事件队列。
凡是接入的连接，一律加到epoll队列，随后的IO事件都是由epoll处理。可以有多个线程。
epoll队列完成了生产者-消费者模型。
epoll之后的线程数，与核数有关，而与连接数无关。连接数与系统的fd数和应用的context数有关。
连接数超过线程数也没关系，在epoll里等就是了。只有它发生IO时才需要线程。
如果发生IO的连接数超过了线程数，也没关系，等就是了。等到有线程完成了其他任务回来抓事件。