qteqpid 发表于 2013-01-07 11:47

C语言版网络爬虫

代码是在linux环境下用c/c++语言写的，结构清晰，使用了多线程、高级多路IO复用、socket网络编程等技术和一些哈希算法，爬取性能还OK。目前还在不断地进行细节优化。
希望看过代码的人可以相互切磋交流。
http://hi.baidu.com/qteqpid_pku/item/a09d923c5ff81af2a8842808

pitonas 发表于 2013-01-11 15:14

结构清晰，高手。:lol

你还未够水准呢 发表于 2013-01-12 11:03

不错爬虫 蛮好玩的

crazyhadoop 发表于 2013-01-14 10:09

回复 1# qteqpid


    把内容贴过来吧~

thelordsaves 发表于 2013-01-15 09:15

非常好，顶！！！！

thelordsaves 发表于 2013-01-15 09:17

楼主能分享一些网络爬虫相关的书和材料吗？

manULinux 发表于 2013-01-17 11:03

下来学习一下。哈哈

cuiwei000 发表于 2013-02-22 10:36

cuiwei@cuiwei-virtual-machine:~/Downloads/spiderq-master/modules$ make
g++-c -O2 -DNDEBUG -fPIC -I../src -Wall   domainlimit.cpp
In file included from domainlimit.cpp:2:0:
../src/url.h:4:19: fatal error: event.h: No such file or directory
compilation terminated.
make: *** Error 1

cuiwei000 发表于 2013-02-22 10:38

我再ubuntu11.04 下make 的有错误啊

hellbo 发表于 2013-03-05 16:36

编译不过呀。。。。:-L
页: [1] 2
查看完整版本: C语言版网络爬虫