python如何实现线程池？

yy1990cn

最近在写一个爬虫，用到多线程，定义一个队列url_queue，所有的线程都从这个队列获得url，然后下载页面，解析页面，获得页面中的url，然后把这些获得的url推入url_queue中，我设想线程的停止条件应该是所有的子线程都暂停了，而且url_queue为空，可是这个停止条件我看threading模块却不知道如何实现，threading模块的join不行，因为我的子线程都是while True循环，而Queue的join似乎也不行，我翻了下Queue的源码，发现有个unfinished_tasks变量，调用put，该变量就+1，调用task_done该变量就-1，而join就是该变量为0时返回，这也不符合我的要求，因为即便该变量为0，那么如果还有线程在运行，那么仍然会有url推入url_queue,求高人解答，刚学python不久，还比较菜，望指点，谢谢，只要能完成目的，如果有更好的思路，欢迎指点，不算感激

yy1990cn

没人，悲剧啊

anonymous0502

你自己思维逻辑都有问题吧
前面说：
线程的停止条件应该是所有的子线程都暂停了

后面又说：
我的子线程都是while True循环

这不是互相矛盾吗

yy1990cn

回复 3# anonymous0502
暂停不是停止，譬如说为了请求url_queue中的元素，结果被block了，唉，感觉python在多线程这方面还不完善，我还是自己造轮子吧


   

anonymous0502

block？get()时block不就是等于队列为空吗？
get()也可以设置超时时间，通过捕获异常来判断是否为空
这个网上应该有很多例子吧，有关如何控制子线程、主线程结束的。
有在队列中放入一个特殊数据项的，有通过事件通知的......

yy1990cn

回复 5# anonymous0502
谢谢你的回答，我的意思其实是用一个队列既供生产者也供消费者使用，而不是像网上那样，一个供生产者使用，一个供消费者使用，已经想明白了，就是queue的task_done和join方法，重新琢磨了下源码才搞清楚。。


   

anonymous0502

是的，还有线程join()和队列join()的方式可以使用。
方法很多