免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 19439 | 回复: 16

[网络] C语言版网络爬虫 [复制链接]

论坛徽章:
0
发表于 2013-01-07 11:47 |显示全部楼层
代码是在linux环境下用c/c++语言写的,结构清晰,使用了多线程、高级多路IO复用、socket网络编程等技术和一些哈希算法,爬取性能还OK。目前还在不断地进行细节优化。
希望看过代码的人可以相互切磋交流。
http://hi.baidu.com/qteqpid_pku/item/a09d923c5ff81af2a8842808

论坛徽章:
5
丑牛
日期:2014-01-21 08:26:26卯兔
日期:2014-03-11 06:37:43天秤座
日期:2014-03-25 08:52:52寅虎
日期:2014-04-19 11:39:48午马
日期:2014-08-06 03:56:58
发表于 2013-01-11 15:14 |显示全部楼层
结构清晰,高手。

论坛徽章:
0
发表于 2013-01-12 11:03 |显示全部楼层
不错  爬虫 蛮好玩的

论坛徽章:
1
天蝎座
日期:2013-12-06 18:23:58
发表于 2013-01-14 10:09 |显示全部楼层
回复 1# qteqpid


    把内容贴过来吧~

论坛徽章:
0
发表于 2013-01-15 09:15 |显示全部楼层
非常好,顶!!!!

论坛徽章:
0
发表于 2013-01-15 09:17 |显示全部楼层
楼主能分享一些网络爬虫相关的书和材料吗?

论坛徽章:
1
技术图书徽章
日期:2014-07-11 16:30:58
发表于 2013-01-17 11:03 |显示全部楼层
下来学习一下。哈哈

论坛徽章:
0
发表于 2013-02-22 10:36 |显示全部楼层
cuiwei@cuiwei-virtual-machine:~/Downloads/spiderq-master/modules$ make
g++  -c -O2 -DNDEBUG -fPIC -I../src -Wall   domainlimit.cpp
In file included from domainlimit.cpp:2:0:
../src/url.h:4:19: fatal error: event.h: No such file or directory
compilation terminated.
make: *** [domainlimit.o] Error 1

论坛徽章:
0
发表于 2013-02-22 10:38 |显示全部楼层
我再ubuntu11.04 下make 的有错误啊

论坛徽章:
0
发表于 2013-03-05 16:36 |显示全部楼层
编译不过呀。。。。
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP