分布式定向采集系统ispider发布

cugb_cat

原帖由 redor 于 2009-12-17 09:44 发表



抓取速度取决于你的带宽和服务器端的带宽， 我这个速度到不是问题， 你可以设置抓取的线程数， 也可以开N个下载节点同时下载， 一般情况下有带宽都会被跑满， 增量抓取？ 你说的是更新吧 抓取还真没有增量 ...

恩，应该叫抓取策略好一些。因为有些页面可能几个月都不更新，这种每次都重复抓来，得不偿失。
我的这个问题主要是想问，既然是垂直搜索，那实时性如何保证？

redor

原帖由 cugb_cat 于 2009-12-17 10:21 发表

恩，应该叫抓取策略好一些。因为有些页面可能几个月都不更新，这种每次都重复抓来，得不偿失。
我的这个问题主要是想问，既然是垂直搜索，那实时性如何保证？

其实所谓的更新一般是更新列表页， 很少回去更新具体的详细页面的，每次更新列表页 会URL排重， 遇到新的URL才会下载， 当然是否重新下这些都可以设置。
其实这些都容易做到， 这里边最不好作的就是模板配置，这个太费功夫了。

其实搜索的实时性大概可以由两个东西来决定：
  1. 抓取数据的实时性 也就是是否能实时抓去网站最新的数据， 这个大概可以通过设置优先级来实现， 重要的，要求高的可以设置优先级高一些， 另外更新的周期设置短一些。其实我现在做的这个系统跟之前的系统比就是多了任务优先级， 抓取树，数据抽取， 其他的都没怎么变。

  2. 索引的实时性，整理完成的数据需要实时增量索引， 这个就要求索引在设计的时候具备这样的能力， 之前我发不过一个索引，算是实验型的，是可以做到实时增量索引的，不过自己进搞这个采集系统，那个东西就没做了， 等做完这个再回去继续改进。

benlan

原帖由 redor 于 2009-12-17 09:41 发表



我这个不应该算是网站采集器 应该是定向结构化数据采集系统， 也就是需要把不同样式的网站的数据最后都整合成一个结构化的数据，其实早期设计目标是专门针对垂直搜索的， 但是做到后期我发现其实用处不仅 ...

其实专有系统和通用系统的区别，只是在于别人能否参与进来，如果通用，规范的好，别的人就容易参与进你的系统，扩展你的系统。

只是在国内做开源，反正都是自己一个人，也不一定需要考虑能否让人参与进来。

消失在地平线

大神啊

cocktail13

额的神那~~
膜拜~
膜拜~~
膜拜~~~

拿来研究学习了
感谢楼主的无私奉献那~~

helbreathszw

bu cuo
up 一下

flw

原帖由 cugb_cat 于 2009-12-17 10:21 发表

恩，应该叫抓取策略好一些。因为有些页面可能几个月都不更新，这种每次都重复抓来，得不偿失。
我的这个问题主要是想问，既然是垂直搜索，那实时性如何保证？

这个简单，加个 if-modified-since header 就可以了

scyzxp

是不错。

daily_2

据我的第一自觉，楼主的编程水平已达到炉火纯青的地步了！赞！

ioerr

如果大家都像U一样，就能让红旗插遍全世界，我顶一个