perl整站采集有什么好的方案？

yakczh_cu

象scrapy那样的

mcshell

re抓取？{:3_186:}

rubyish

yakczh_cu 发表于 2013-05-21 10:27
象scrapy那样的

what's scrapy ?

yakczh_cu

http://www.kuqin.com/system-analysis/20110906/264417.html
类似这种的，配置站点后，填好抓取规则代码和抓取结果处理器就行了

yakczh_cu

抓取　．．．．
处理队列
处理链接．．．

取得item页
　$func=include("页面采集函数／脚本")
$result= call($func)

得到采集结果
　$func=include("存贮结果函数／脚本")
　call($func)
保存结果
　处理队列中下一个url


用perl如何实现这样的结构？

anyevent

回复 5# yakczh_cu

简单的回答，“Perl没有像python的scrapy这样的产品”
scrapy其实就是个规整过的爬虫而已，Perl能干这种事，而且一定比scrapy做的好。所谓“好”，就是资源占用更少，效率更高
非要用Perl做，学习成本比较高。你可以去看看Coro和AnyEvent
   

rubyish

类似的

Scrappy - The All Powerful Web Spidering, Scraping, Creeping Crawling Framework

http://search.cpan.org/~awncorp/Scrappy-0.94112090/lib/Scrappy.pm

flw

http://search.cpan.org/~miyagawa ... /lib/Web/Scraper.pm

慢慢爽去吧！

py

flw 发表于 2013-05-22 16:27
http://search.cpan.org/~miyagawa ... /lib/Web/Scraper.pm

慢慢爽去吧！

Web::Scraper主要是HTML分析并提取信息。楼主是要一个通过简单设置就可以完成复杂任务的“爬虫机器”。perl没有现成的这样的东西。
这种爬虫机器定制的多，自己阴着用。发布出来的都是垃圾。

brantc

回复 9# py


    附和。爬虫都比较有针对性，普适的少，普适的都是大牛。