
平台论坛博客文库

› 论坛 › 程序设计 › Python › python写的一个高效爬虫组件

python写的一个高效爬虫组件 [复制链接]

alwaysR9

白手起家

论坛徽章:: 2

电梯直达

1楼 [收藏(0)] [报告]

发表于 2015-12-18 23:07 |只看该作者 |倒序浏览

github.com/alwaysR9/httpCollector

最近写的一个小项目
我们学校限制了500KB/s的网速，爬虫运行起来可以占满带宽，使用单线程epoll

感兴趣的朋友，可以测试一下在你们的运行环境下的下载速度
为了方便测试，github项目内付800个美团店家URL，在urls.txt文件中

文库|博客

返回列表

Chinaunix › 论坛 › 程序设计 › Python › python写的一个高效爬虫组件