python写的高效爬虫组件——httpCollector

alwaysR9

适用情况： 当存在大量URL待爬取时，使用httpCollector比使用urlopen高效很多

接口： HttpCollector.start(urls, headers)

本地测试： 学校限制网速最高500KB/s，在网络环境好的时候，使用httpCollector可以占满带宽

运行方式： python httpCollector.py 或者按照README中的脚本运行
（为了方便测试，urls.txt文件中包含800个美团店家URL）

有兴趣的朋友可以试试，如果能把带宽占用情况返回给我更好啦，我很希望知道在更高带宽下这个程序的下载速度。