欢迎讨论，各抒己见，有没有好一些的module来完成html的抓取

L_WC

目的： 抓html菜单和url，菜单有一级二级标题分类
现在每次都用正则抓的，不同的网站要重新分析重新抓，有没有好一些的module来完成这件事情，提高复用性，减少重新编码。

PS：只讨论解析就好了，不需要关心怎么抓。

RE_HASH

同感，尤其是js 做的，更要命

104359176

Perl 解析 html 的大都是用 Hash 做数据容器, 而 Hash 又没有顺序, 于是为了恢复抓取时的顺序, 相关的代码和模块又增加了另外的排序参数, 比较复杂.

用带顺序的数组来解析, 就没有这个问题. 建议自己写一个解析 html 数据结构的函数吧.

stanley_tam

Mojo::UserAgent可以像css选择器一样操作html，你还要怎样

1. use Mojo::UserAgent;
   
2. my $ua = Mojo::UserAgent->new;
   
3. say $ua->get('blogs.perl.org')
   
4.   ->res->dom->find('h2 > a')->map('text')->join("\n");

复制代码

大米白面

WWW::Mechanize

kingfighters

web::scraper

不过折腾到最后，还是Mojo**好

hztj2005

stanley_tam 发表于 2016-08-25 13:41
Mojo::UserAgent可以像css选择器一样操作html，你还要怎样

请教一下，我在win10下用ActivePerl，想安装Mojo::UserAgent，但ppm中只找到Mojo-UserAgent_t，不知该文件为什么后面有个t，是否就是Mojo::UserAgent？，还是要安装其它包。


Mojo-UserAgent_t，
        Version:       
        Released:        2016-03-04
        Author:        Chen Ci <744891290@qq.com>
        CPAN:        search.cpan.org/dist/Mojo-UserAgent_t-

stanley_tam

如果是activeperl的话，在模块介绍页貌似有cpan链接的吧。打开看下是不是一样的吧。
回复 7# hztj2005

L_WC

回复 4# stanley_tam

只有用mojo抓的时候才试用，很多时候用phantomjs，最后就一个html content， 想讨论一种 常规下的 html页面的解析通用办法。