Chinaunix

标题: python多线程爬取网页时——并发连接限制 [打印本页]

作者: solidbob 时间: 2011-11-09 15:11
标题: python多线程爬取网页时——并发连接限制
本人编写了一个15个线程同时爬取网页的程序，但运行时经常遇到 “urlopen error: connection reset by peer”这个错误。

这应该是服务器端设置了最大并发连接数，请问各位有啥好的方法解决这个问题啊，最好不要减少线程数目。

谢谢

作者: BangBull 时间: 2011-11-09 20:52
贴上代码呗，不贴谁知道啊

作者: wmjie 时间: 2011-11-13 18:54
用代理爬，行不行？

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)