介绍一下Mojolicious的DOM选择器Mojo::DOM和它的Mojo::UserAgent（比较Web::Scraper）

py

最近正好又需要做页面分析，以前全是用AnyEvent::HTTP和Web::Scraper。这次试了试Mojo::DOM和Mojo::UserAgent。
先说结论，我的试用结论是：如果程序不和web沾边，只是个页面分析或文件处理程序，那还是前者好。否则的话可以考虑Mojo.

先说Mojo::DOM和Mojo::UserAgent的优点：
Mojo::DOM做的这个dom选择器在一些时候是非常方便的
读入HTML以后可以精确定位需要的元素或是用回调的方式遍历。

1. my $dom = Mojo::DOM->new($html_string);
   
2. $dom->find('p[id]')->each(sub { say shift->{id} });

复制代码

在配合Mojo::UserAgent使用的时候就更方便了。Mojo::UserAgent有丰富的功能，但如果你不想用那些，你可以就把它当成一个wget（http client）用。它不但支持同步get也支持非阻塞get网页。而且和Mojo::DOM整合的很好。比如：

1. my $ua = Mojo::UserAgent->new;
   
2. my $title = $tx->res->dom->at('head title')->text;

复制代码

当把这一切放到Mojolicious web框架里的时候就更美好了，因为都是一个作者写的，整合性就非常好。以前要兴师动众的工作现在2，3行代码就完成了。

以上看着都很美好了，我说些在我看来的缺点。
1. 不支持XPATH。
我很熟悉XPATH，但很不幸，不支持XPATH。虽然很多东西都可以用mojo的方式实现，但我还是能说出一些我常用但没实现的东西。并且我猜测因为此，效率也会差很多。由于Web::Scraper是用xpath，并且可以用XML::LibXML来解析html/xml，XML::LibXML是目前所有DOM方式中最快的（libxml2 > expat）。所以我认为一个纯perl写的非xpath方式的DOM选择器的效率是不足以做大规模数据分析的。（仅是猜测）

2. 可能是我的使用习惯，页面复杂的时候我还是更喜欢用Web::Scraper
用过Web::Scraper的人都知道，你需要先用xpath写一个符合某类页面的统一规则，然后用这一整套规则去分析一类页面。页面信息复杂的时候这一套规则可能几十甚至上百行。而用Mojo::DOM就只能用好多find->each和perl回调函数裹在一起，不方便调试，写页面分析规则的人还必须得会perl。

3. 没法用Coro::rouse_cb和Coro::rouse_wait了。

1. my $coro = async {
   
2.     http_get "http://www.example.com/", Coro::rouse_cb;
   
3.     my ($data, $header) = Coro::rouse_wait;
   
4.     print Dumper $header;
   
5. };

复制代码

上面的这个可以。下面的这个就不行了。

1. my $coro = async {
   
2.     my $ua = Mojo::UserAgent->new;
   
3.     $ua->get('http://www.example.com/' => Coro::rouse_cb);
   
4.     my ($ua2, $tx) = Coro::rouse_wait;
   
5.     my $title = $tx->res->dom->at('head title')->text;
   
6.     print "$title\n";
   
7. };

复制代码

bikong0411

学习了~分析html dom时支持Xpath确实方便不少

quanpai

请问用什么工具找xpath。

墨迹哥

你不是一直说这是不传之秘吗。。。。

seufy88

回复 1# py


    也支持非阻塞get网页
》能简单说明一下，什么叫非阻塞GET网页？

seufy88

回复 1# py


    同时，LZ能否给我们新手讲解一下AE下所谓有事件编程，因为我简单查看入门资料后发现AE好像也会是“阻塞”的，比如程序控制权交给 AnyEvent LOOP时，如果没有期待的事件发生，就会一直阻塞在哪。

py

quanpai 发表于 2013-11-19 11:11
请问用什么工具找xpath。

没明白你说的“用什么工具找”是什么意思

根据想要信息，你写出对应的xpath路径，然后扔给XML::LibXML，得到结果。

py

墨迹哥 发表于 2013-11-19 11:14
你不是一直说这是不传之秘吗。。。。

辟谣。我哪那么说过啊。。。
技术上的东西，哪有什么“不能说的秘密”

py

回复 5# seufy88

你没理解这个“非阻塞”的意思。就像我们说Coro::AnyEvent::sleep是非阻塞的，而sleep是阻塞的。这两个sleep都会阻塞当前的block，但如果一段程序中有多个这样的block的时候，前者会阻塞当前block，但会放弃cpu允许其他的block继续运行，即非阻塞。后者不但在阻塞当前block的同时不放弃cpu，这样一来，程序中其他的block在阻塞期间也无法运行，即阻塞。

例如:

1. my $block1 = async {
   
2.     Coro::AnyEvent::sleep 5;
   
3. };
   
4. 
   
5. my $block2 = async {
   
6.     Coro::AnyEvent::sleep 5;
   
7. };
   
8. 
   
9. $block1->join;
   
10. $block2->join;

复制代码

由于是非阻塞的sleep，所以程序5秒后退出。

例如：

1. my $block1 = async {
   
2.     sleep 5;
   
3. };
   
4. 
   
5. my $block2 = async {
   
6.     sleep 5;
   
7. };
   
8. 
   
9. $block1->join;
   
10. $block2->join;

复制代码

由于是阻塞的sleep，所以程序需要10秒后才能退出。

“事件编程”是实现非阻塞的一个手段。如果还不明白就写代码多试试，也许在某个时刻就恍然大悟了。
   

墨迹哥

回复 8# py


    这不是跟爬虫有关嘛。。只要跟爬虫有关基本上都是不传的秘密。。。
、
    你都多次把这事要么忽略。。要么就是说这东西说出来就烂了。。。不就是说这是不能说的秘密吗。。。{:3_185:}