分布式定向采集系统ispider发布

ysheng

不错，lz早日架一个来用看看

redor

原帖由 ysheng 于 2009-12-15 10:05 发表
不错，lz早日架一个来用看看

已经更新了， 添加了ＳＳＬ支持， 等把用户管理弄好了就可以给大家在线测试了。

同时还有很多问题要解决，抓取的模板配置这个是个难题，自动生成模板的技术还在研究中。

redor

原帖由 benlan 于 2009-12-14 09:29 发表
能把采集的数据信息组装成XML结构化数据吗？

完全可以的， 其实设计目标就是直接入数据库或者到处ＸＭＬ格式文件， 一般建议直接入库， ＸＭＬ文件处理起来麻烦很多，倒是数据迁移的话ＸＭＬ是不错的选择。

gawk

原帖由 redor 于 2009-12-11 20:27 发表



用于定向采集数据 比如论坛的帖子 B2B商品信息和公司信息等， 通过树庄的抓取路径来关联数据， 使得分布在不同页面的内容整合成一条完整的信息， 把杂乱的信息转换为结构化的信息。

主要用于垂直搜索引 ...

牛x啊
偶像

学与思

牛！用啥语言写的？ 脚本语言写这个开发效率应该要高些吧

redor

原帖由 学与思 于 2009-12-15 15:33 发表
牛！用啥语言写的？ 脚本语言写这个开发效率应该要高些吧

纯C写的， 前端展示用HTML ＋ JS做的， 用脚本语言写在处理数据的能力上要差很多， 效率也是一个问题。

gdutllf2006

顶一个。

hy0kl

拜一个!
这个世界不从来不缺少牛人...

wuexp

何强

太牛了，顶一个。