发布一个单机版的spider,分布式版本还在开发中

redor

依赖库:libevbase http://sbase.googlecode.com/files/libevbase-0.0.14.tar.gz
下载下来的数据压缩存储到一个文件里,可通过meta索引去遍历,这个版本是个demo...
希望有兴趣的跟我一块开发吧,分布式版本目前还在完善DNS解析和文件存储上.



http://libibase.googlecode.com/files/tlink.tar.gz

使用方法,执行里边的s.sh编译会生成可执行文件 tlink

tlink使用方法:
Usage:./tlink hostname path connections

实例:
./tlink  www.sina.com.cn / 32

其实域名,其实路径,连接最大数.

[ 本帖最后由 redor 于 2009-3-9 11:50 编辑 ]

pythonor

mARK

cookis

能不能简单介绍一下这是用来干什么的.

redor

原帖由 cookis 于 2008-6-11 20:11 发表
能不能简单介绍一下这是用来干什么的.

抓页面的蜘蛛...搜索引擎用的.....

system888net

原帖由 redor 于 2008-6-11 20:17 发表



抓页面的蜘蛛...搜索引擎用的.....

再接再励。

wwdwwd

楼主如何避免重复抓取？

redor

原帖由 wwdwwd 于 2008-6-11 20:41 发表
楼主如何避免重复抓取？

URL MD5放内存 .... 排重

wwdwwd

原帖由 redor 于 2008-6-11 20:43 发表



URL MD5放内存 .... 排重

在每一次爬之前都把已经爬过的url提取出来放到内存中，然后爬的时候每爬一个页面先在内存里面查找一遍，有的话不管，没的话再爬？这样效率会不会低？

cugb_cat

不错，支持~！

redor

原帖由 wwdwwd 于 2008-6-11 20:52 发表

在每一次爬之前都把已经爬过的url提取出来放到内存中，然后爬的时候每爬一个页面先在内存里面查找一遍，有的话不管，没的话再爬？这样效率会不会低？

其实实际操作的时候是有一个URL队列,也可以是一个队列文件, 每次要添加URL进去的时候都检查一下是否重复,如果不重复就添加,这里的URL添加有两种,一种是人工添加,一种是自动从页面里提取出来的URL. 如果down机的话就把原来的队列URL里的所有URL做一次MD5放到内存便于查询...
大概就是这样....