perl整站采集有什么好的方案？

iakuf

回复 17# yakczh_cu
Bloom::Filter 这个模块会记录你所有采集过的 url

   

墨迹哥

回复 12# grshrd49


    我看到你这程序还是有点不太理解。。
    就好比你整站抓取的话，该怎么个抓法？这个貌似有点像抓一个页面里面的所有链接。

墨迹哥

回复 9# py


    如果要拔下整站，这玩意靠谱不？
   
    例如一级页面到二级页面的抓取。。。

grshrd49

回复 22# 墨迹哥


对头！就是这个意思。
讲究一点的可以先登录后再去爬网站，通过url寻找自己需要的东西

py

回复 23# 墨迹哥

Web::Scraper只是分析一个页面并提取信息的模块，你给他一段HTML，给出XPATH，它给你你要的信息
Perl没有爬整站的模块
   

beckheng

就用你说的py的那个行了吧…………

iakuf

回复 25# py

其实吧，CPAN 上还真有好几个项目抓整站。。。。
比如：http://search.cpan.org/~dmaki/Gungho-0.09008/lib/Gungho.pm

   

墨迹哥

回复 25# py


    其实我更加关注的是抓链接，就是目前有没有一些模块能够把网站所有的链接都抓下来？
    例如一级页面，二级页面，三级页面 这样顺着抓？
    我在做一个有关爬虫的小工具，希望您能多指导。。

墨迹哥

回复 27# iakuf


    有实际的使用例子不？。。上面貌似也木有。。

墨迹哥

回复 24# grshrd49


    能丢个QQ单独讨论下吗？或者站内消息？
    我目前还在研究这个爬虫的东西，我的目标只是抓链接。。并不是抓别的。。
    很好奇。。。