Perl爬虫，爬整站研究

墨迹哥

回复 35# grshrd49


    这个404和500的问题很好解决的啊。。你先抓一个不存在的地址，捕获网站的404页面，然后进行爬虫的时候进行页面比对不就好了啊？
   之前那个啥，目录扫描的的脚本开发时就发现这个问题，挺蛋腾的。后来我就想到这么干。。

墨迹哥

回复 37# 撒哈拉里的鱼


    {:2_170:}  舜件惊讶了。。你出现了。。我还准备微薄勾引你一下。。。{:2_167:}

墨迹哥

回复 39# grshrd49


    我测过那个。。不行哇。。我回头再好好写写。。。蛋腾死了。。很多重复。。

墨迹哥

回复 36# iakuf


    主要我想知道那个容量的问题，你的想法是如何解决？例如抓取大型网站的思路。。
    这个东西挺有意思的。

iakuf

回复 44# 墨迹哥
什么容量？


   

墨迹哥

回复 45# iakuf


    capacity => 100000  这个容量。。。
    还有一些别的刚报的问题。。想请教你解决bug思路.
第一个错误：这个是什么类型的错误？

1. Timer 96f85ea9a9f21fdfea313a822cffdc66 failed: Unrecognised protocol tcp at /usr/local/share/perl/5.14.2/Mojo/IOLoop/Client.pm line 59.
   
2. Timer 707d594955808dd0ec9dbb8f51875ef9 failed: Unrecognised protocol tcp at /usr/local/share/perl/5.14.2/Mojo/IOLoop/Client.pm line 59.
   
3. Timer 70c022d81d23dd8620c80abf7996d862 failed: Unrecognised protocol tcp at /usr/local/share/perl/5.14.2/Mojo/IOLoop/Client.pm line 59.
   

复制代码

第二个错误：超出容量以后报的错误。。

1. 1000 3 http://bbs.chinaunix.net/forum.php?mod=redirect&goto=findpost&ptid=3764816&pid=22310903
   
2. Exceeded filter capacity at iakuf.pl line 38.
   
3. 1000 3 http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=3764816&page=1&authorid=26148224
   
4. Exceeded filter capacity at iakuf.pl line 38.
   
5. 1000 3 http://bbs.chinaunix.net/space-uid-26148224.html
   
6. Exceeded filter capacity at iakuf.pl line 38.
   

复制代码

这两个错误我想请教下。用什么方法能解决？

iakuf

回复 46# 墨迹哥

capacity  这个参数设置更加大的值看看行不？
Bloom Filters 的资料看看仙子的文章
http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=601028


   

墨迹哥

回复 47# iakuf


    挺纠结。。你改完那个，爬163.COM不能正常结束。还有新的错误- - #
  错误一：

1. 4780 1 http://analytics.163.com/ntes_dwld?prod=3gmarket&id=2911508&pf=1&cg=CA8MTG5J141&sign=a764b9708953839bbca57908500129e5&url=https%3A%2F%2Fitunes.apple.com%2Fcn%2Fapp%2Fid648243241%3Fmt%3D8
   
2. Use of uninitialized value in hash element at /usr/local/share/perl/5.14.2/Mojo/Reactor/Poll.pm line 46.
   
3. Use of uninitialized value $cb in method lookup at /usr/local/share/perl/5.14.2/Mojo/Reactor/Poll.pm line 109.
   
4. Read failed: Can't locate object method "" via package "Mojo::Reactor::Poll" at /usr/local/share/perl/5.14.2/Mojo/Reactor/Poll.pm line 109.
   
5. Use of uninitialized value in hash element at /usr/local/share/perl/5.14.2/Mojo/Reactor/Poll.pm line 46.
   
6. Use of uninitialized value $cb in method lookup at /usr/local/share/perl/5.14.2/Mojo/Reactor/Poll.pm line 109.
   
7. Read failed: Can't locate object method "" via package "Mojo::Reactor::Poll" at /usr/local/share/perl/5.14.2/Mojo/Reactor/Poll.pm line 109.
   

复制代码

错误二：

1. Use of uninitialized value in addition (+) at /usr/local/share/perl/5.14.2/Mojo/Reactor/Poll.pm line 11.
   
2. Use of uninitialized value in addition (+) at /usr/local/share/perl/5.14.2/Mojo/Reactor/Poll.pm line 11.
   
3. Use of uninitialized value in addition (+) at /usr/local/share/perl/5.14.2/Mojo/Reactor/Poll.pm line 11.
   
4. Use of uninitialized value in addition (+) at /usr/local/share/perl/5.14.2/Mojo/Reactor/Poll.pm line 11.
   
5. 
   

复制代码

我感觉是不是逼这咱们自己写纯PERL爬。。。这尼码的模块老是各种错误。。你有木有EMAIL。。。我们能EMAIL交流不？

墨迹哥

回复 47# iakuf


    最大值改成100W应该就够了。这个可以忽略。因为我觉得没有哪个站点能超100W个URL吧？

墨迹哥

回复 36# iakuf


    @grshrd49 本想改写下之前云总那个做模块使用。。可是各种错误。。。你那个我没试过改写的效果。。。

1. package Web_PageAnaly;
   
2. 
   
3. use threads;
   
4. use threads::shared;
   
5. use Thread::Queue;
   
6. use Thread::Semaphore;
   
7. use Bloom::Filter;
   
8. use URI::URL;
   
9. use Web::Scraper;
   
10. 
    
11. require Exporter;
    
12. @ISA=(Exporter);
    
13. @EXPORT=qw( Page_Analy ProcessUrl );
    
14. share($host);
    
15. $host = URI::URL->new($base_url)->host;
    
16. $queue = Thread::Queue->new();
    
17. $semaphore = Thread::Semaphore->new( $max_threads );
    
18. $mutex = Thread::Semaphore->new( 1 );
    
19. $filter = shared_clone( Bloom::Filter->new(capacity => 1000000, error_rate => 0.0001) );
    
20. $res;
    
21. $link;
    
22. 
    
23. sub Web_PageAnaly::Page_Analy{
    
24.   local($base_url)=shift;
    
25.   local($max_threads)=shift;
    
26.   $queue->enqueue( $base_url );
    
27.   $filter->add( $base_url );
    
28.   while( 1 ){
    
29.         foreach ( threads->list(threads::joinable) ){
    
30.                $_->join( );
    
31.         }
    
32.         my $item = $queue->pending();
    
33.         if( $item == 0 ){
    
34.                 my $active = threads->list(threads::running);
    
35.                 if( $active == 0 ){
    
36.                     print "All done!\n";
    
37.                     last;
    
38.                 }else{
    
39.                     sleep 1;
    
40.                     next;
    
41.                 }
    
42.         }
    
43.         $semaphore->down;
    
44.         threads->create( \&Web_PageAnaly::ProcessUrl );
    
45.    }
    
46.    foreach (threads->list()){
    
47.       $_->join( );
    
48.    }
    
49. }
    
50. sub Web_PageAnaly::ProcessUrl{
    
51.      scraper = scraper{ process '//a', 'links[]' => '@href';};
    
52.      while( my $url = $queue->dequeue_nb() ){
    
53.          eval{$res = $scraper->scrape( URI->new($url) )->{'links'};};
    
54.             if( $@ ){
    
55.                   warn "$@\n";
    
56.                   next;
    
57.             }
    
58.             next if (! defined $res );
    
59.               foreach( @{$res} ) {
    
60.                   $link = $_->as_string;
    
61.                   $link = URI::URL->new($link, $url);
    
62.                   next if( $link->scheme ne 'http' && $link->scheme ne 'https' );
    
63.                   next if( $link->host ne $host );
    
64.                   $link = $link->abs->as_string;
    
65.                      if( $link =~ /(.*?)#(.*)/ ){
    
66.                            $link = $1;
    
67.                      }
    
68.                      next if( $link =~ /.(jpg|png|bmp|mp3|wma|wmv|gz|zip|rar|iso|pdf)$/i );
    
69.                         $mutex->down();
    
70.                      if( ! $filter->check($link) ){
    
71.                                 print $filter->key_count(), " ", $link, "\n";
    
72.                                 open FILE,">>$host.html" or die $!;
    
73.                                 print FILE ("<a href='$link'>$link</a>\n");
    
74.                                 close(FILE);
    
75.                                 $filter->add($link);
    
76.                                 $queue->enqueue($link);
    
77.                         }
    
78.                         $mutex->up();
    
79.                         undef $link;
    
80.                 }
    
81.                 undef $res;
    
82.         }
    
83.         undef $scraper;
    
84.         $semaphore->up();
    
85. }
    

复制代码