Perl爬虫，爬整站研究

墨迹哥

目前跟一骚年@grshrd49在研究整站爬虫。列出一些需求，准备倒腾一下。
看看有木有志同道合的骚年一块研究研究。
需求如下：
1.取出页面中的URL
2.对比目标URL排除不符合目标的URL
3.对URL进行排序

这三个是完成了，貌似这爬虫很弱。。。

目前还需要做以下需求加强：
1.抓取二级目标
2.找到停止的方法。


在这请教下几个大神，指导下。。。@zhlong8 @mcshell @iakuf
谢谢啦

mcshell

{:3_186:}{:3_186:}{:3_186:}
让其他大神看看。。

墨迹哥

回复 2# mcshell


    貌似云总那代码能解决问题。。我去好好看看！

iakuf

回复 1# 墨迹哥
我在被你们上次华丽的忽略的这个程序上改进了下，可以达到你们的要求。其中 $dept_level 是用来控制抓的深度，24 行的正则是用于控制只抓指定的域名。层次达到，并没新的 url 的时候，就会自动退出。

1. 
   
2. #!/usr/bin/perl
   
3. use strict;
   
4. use Mojo::UserAgent;
   
5. use Bloom::Filter;
   
6. use Smart::Comments;
   
7. 
   
8. my $dept_level = 2;
   
9. my $filter = Bloom::Filter->new(capacity => 100000, error_rate => 0.0001);
   
10. my $ua = Mojo::UserAgent->new;
    
11. 
    
12. my $delay = Mojo::IOLoop->delay;
    
13. my $end = $delay->begin(0);
    
14. 
    
15. my $callback;$callback = sub  {
    
16.     my ($ua, $tx) = @_;
    
17.     returnif !$tx->success;
    
18. 
    
19.     my $dept = $tx->req->headers->header('dept');
    
20.     return if $dept > $dept_level;
    
21.     ++$dept;
    
22.     $tx->res->dom->find("a[href]")->each(sub{
    
23.             my $attrs  = shift->attrs;
    
24.             my $newUrl = $attrs->{href};
    
25.             next if $newUrl !~ /php-oa.com/;
    
26.             if( !$filter->check($newUrl) ) {
    
27.                 print $filter->key_count(), " $dept ", $newUrl, "\n";
    
28.                 $filter->add($newUrl);
    
29.                 $ua->get($newUrl => { dept => $dept } => $callback);
    
30.             }   
    
31.     });
    
32.     $end->();
    
33. };
    
34. 
    
35. $ua->get($ARGV[0] =>   { dept => 1} => $callback);
    
36. 
    
37. Mojo::IOLoop->start unless Mojo::IOLoop->is_running;
    

复制代码

dugu072

ls的代码简单测试下，感觉至少有两个大问题：
1. 没有解决相对路径的问题，尤其在不同host抓取时，相对路径尤其要处理正确——另外Mojo::UA->get会因为错误的url挂住比较长时间。
2. 没有控制并发请求的数量，大站的url往往非常多，几百个都算少的，不加控制的同时get几百个url，Mojo::UA不能正常处理的。

yakczh_cu

$newUrl => { dept => $dept } => $callback 这是什么语法

iakuf

回复 5# dugu072

路径全不全这个加一行很容易解决，可能还有其它 bug 这个不是重点，这只是个例子。要控制并发，超时，重定向。。。还有其它很多功能之类其它，请看看 Mojo::UserAgent 的 pod，你讲的东西看看他的参数 max_connections,默认为 5 个并发保持的连接。
   

iakuf

回复 6# yakczh_cu

这只是 Mojo::UserAgent 的语法，第一个参数是请求的 url ，第二个参数是请求发送的 Header，最后一个参数是请求发送完的响应产生的回调。

   

dugu072

回复 7# iakuf


    本来也只是提醒大家这个代码不能直接使用，有一些问题。
    另外 max-connections 只是与 http 的keep alive机制相关，与这里的并发请求无关的，因此如果爬一个页面有几百个URL，Mojo::Reactor一下子监控几百个IO，基本就挂死了（实测：本机用的Mojo::Reactor:oll，没装EV），完全不能正常工作的。
    Mojo确实很棒，实用及其灵活，但也因为灵活，导致有好些使用上的注意点，这里只是给提醒下大家～

yakczh_cu

iakuf 发表于 2013-06-01 21:29
回复 6# yakczh_cu

这只是 Mojo::UserAgent 的语法，第一个参数是请求的 url ，第二个参数是请求发送的 ...

通过perl的什么语法实现的?  hashref?