发布一个单机版的spider,分布式版本还在开发中

zgl90k

mark

涩兔子

恩，正则主要是用于html filter，这样

1. 索引可以少做一些匹配查找
2. 搜索结果可以更加干净

redor

原帖由 benjiam 于 2008-6-12 20:22 发表
我也做过。

但是url 重复的问题 其实还是很难解决的。量大了 靠内存是解决不了的。我感觉需要靠数据库来解决。

我的想法 是需要中心专门的url 识别服务器来做。  我的设想 是 抓取  任务分配， 抓取下来的 ...

其实URL MD5排重对内存的占用不会特别大,所以这个可以忽略,其实数据库也可以做排重, 我这里的URL排重和URL提取都是中心服务器负责.
下载节点就是从中心服务器取得URL列表和解析完的IPORT,也就是下载节点只负责下载数据然后传给中心服务器.

至于分词,其实分词要做得很好还是比较难的,至少比下载难,呵呵,我只是做了词的匹配部分, 如果需要做停词,歧义等就需要好好学习学习了.

我的spider其实就是周末两天写完的,不过调了两个星期至今还没完全把分布式版本调得让我满意.....

chaseh

我有兴趣qq：21683187

saite

。我的爬虫用python写的,比C简单很多,url判重通过数据库,url加密成md5做主键,现在爬了1亿多个url和file暂时没什么问题,以后数据量再大些可能需要把md5映射成数字指纹

redor

原帖由 saite 于 2008-6-12 22:38 发表
。我的爬虫用python写的,比C简单很多,url判重通过数据库,url加密成md5做主键,现在爬了1亿多个url和file暂时没什么问题,以后数据量再大些可能需要把md5映射成数字指纹

HASH?

gawk

ding

LoveForLinux

兄弟留个q或者是email吧？

nbroot

不错

zhoubug

搜了下楼主的帖子，发现楼主06年就提出要做 p2p web search engine ,很好的眼光。现在已经有几个这样的开源产品出来拉。