Chinaunix

标题: 多线程爬虫如果添加代理如何限制同时只能有一个线程在使用代理读取网页 [打印本页]

作者: 9ibook 时间: 2010-05-01 17:25
标题: 多线程爬虫如果添加代理如何限制同时只能有一个线程在使用代理读取网页
用的是threading

在线程类中初始化时生成要调用类的实例,然后在线程类run方法中调用该类的方法

多线程调用代理经常出现<urlopen error (10048, 'Address already in use')>

Gapp代理

作者: pywugw 时间: 2010-05-01 19:49
你那个类是不是要绑定端口的？重用了？

作者: 9ibook 时间: 2010-05-01 20:07
类只是使用urllib2设置代理来打开网页,不绑定端口

作者: seacoastboy 时间: 2010-05-01 22:43
python 的线程是有全局锁的
你要是做抓取的话感觉多进程是不是好点

作者: pywugw 时间: 2010-05-02 22:09
上代码

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)