一个线程池性能的问题

l.darkfire

假设我的线程池有一个管理线程，一组工作线程，一个工作队列，那么用管理线程往工作队列里添加任务时，以及工作线程一起从队列头取任务时需要互斥。那么这么频繁的使用信号量互斥，是否会比较大的影响性能？

donyad

看你定义的频繁到底是一个什么状况
如果你的工作线程非常多，而且任务吞吐量很大，而且CPU占用不高
也就是说队列里面有任务需要完成，但是一群线程却排了很长的队等着领任务
那么就要考虑下这里的互斥产生的瓶颈了

l.darkfire

我现在的做法是每个工作线程都有自己的工作队列，那么同一时间只有管理线程和特定的工作线程互斥访问这个队列

donyad

那这样会影响任务完成的平均等待时间的
一旦发生就是非常难以监控的

l.darkfire

现在我无法准确估计任务的频繁程度。可能比较频繁，大多数是很短的处理。有可能会有比较长时间的处理，所以才用线程池。考虑到任务数较多的情况会出现等待，所以使用了多队列，即每个线程拥有自己的队列，

donyad

在对程序工作的情况还没有明确的评估的时候，来怀疑性能瓶颈是没有道理的

l.darkfire

刚才问了一下同事，任务大多数是比较频繁而短小的，有一小部分任务可能会时间比较长。

safedead

你在编什么?
代理服务器?

我是这么干的
静态pthread_mutex_t数组, 数组元素个数就是线程池大小
主线程上锁
每个线程阻塞在自己的锁上

主线程解锁, 相应线程工作, 工作完成后自锁
所有调度都是主线程(只有主线程才调用解锁操作)

预创建4000线程感觉还可以

系统: linux 2.6 X86_64

l.darkfire

我也是差不多，一个队列数组，一个信号量数组，对应线程池中的每个线程。每个线程池从自己的队列取任务时需要锁lock/unlock，主线程根据找出负载最小的队列添加任务，添加任务时也需要lock/unlock。这样每个队列上只有两个线程会去lock/unlock。