免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › C/C++ › 一个高效爬虫组件

最近访问板块

发新帖

查看: 832 | 回复: 0

上一主题

下一主题

[其他] 一个高效爬虫组件 [复制链接]

论坛徽章:: 2

程序设计版块每日发帖之星
日期:2015-12-23 06:20:00

每日论坛发贴之星
日期:2015-12-23 06:20:00

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2015-12-18 22:58 |只看该作者 |倒序浏览

github.com/alwaysR9/httpCollector

我最近写的一个小项目
学校限制最高500KB/s的网速，爬虫运行起来基本可以占满带宽，用了epoll，单线程

感兴趣的朋友，可以测试一下在你的运行环境下的下载速度
为了方便测试，项目中内附800个美团店家的URL

文库|博客

发新帖

Chinaunix › 论坛 › 程序设计 › C/C++ › 一个高效爬虫组件

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP