perl整站采集有什么好的方案？

rubyish

都是大牛。

grshrd49

http://search.cpan.org/~awncorp/Scrappy-0.94112090/lib/Scrappy.pm
上的第一个示例中看到个关键字href

1. #!/usr/bin/perl
   
2.     use Scrappy;
   
3. 
   
4.     my  $scraper = Scrappy->new;
   
5.    
   
6.         $scraper->crawl('http://search.cpan.org/recent',
   
7.             '/recent' => {
   
8.                 '#cpansearch li a' => sub {
   
9.                     print $_[1]->{href}, "\n";
   
10.                 }
    
11.             }
    
12.         );

复制代码

原理是不是就是获取返回页面中href的链接，然后继续请求返回，重复循环直到找到想要的。

我设想过用lwp自己写个爬虫，循环的结束机制就是在所有获取的页面中没有最新的页面。
不知道我这个想法可不可行...

quanpai

python scrapy 肯定不是垃圾，perl 的 scrappy 好久没更新过。
你如果要自己用 perl 写的话， 参考scrapy的理念还是很好的。
自己学 python 也是可以的。

iakuf

回复 12# grshrd49

用 Mojo 写了个爬虫的小例子，抄了一下云舒的 Bloom::Filter 模块的使用。

1. #!/usr/bin/perl
   
2. use strict;
   
3. use Mojo::UserAgent;
   
4. use Bloom::Filter;
   
5. 
   
6. my $filter = Bloom::Filter->new(capacity => 100000, error_rate => 0.0001);
   
7. my $ua = Mojo::UserAgent->new;
   
8. 
   
9. my $delay = Mojo::IOLoop->delay;
   
10. my $end = $delay->begin(0);
    
11. 
    
12. my $callback;$callback = sub  {
    
13.     my ($ua, $tx) = @_;
    
14.     $end->() if !$tx->success;
    
15. 
    
16.     $tx->res->dom->find("a[href]")->each(sub{
    
17.             my $attrs  = shift->attrs;
    
18.             my $newUrl = $attrs->{href};
    
19.             next if $newUrl !~ /php-oa.com/;
    
20.             if( !$filter->check($newUrl) ) {
    
21.                 print $filter->key_count(), " ", $newUrl, "\n";
    
22.                 $filter->add($newUrl);
    
23.                 $ua->get($newUrl => $callback);
    
24.             }   
    
25.     });
    
26.     $end->();
    
27. };
    
28. 
    
29. $ua->get($ARGV[0] => $callback);
    
30. 
    
31. Mojo::IOLoop->start;

复制代码

使用直接存成文件，然后给上面的 php-oa.com 的域名修改掉，然后 perl ./t11.pl http://www.php-oa.com 这样就行了。

   

yakczh_cu

回复 7# rubyish

....

1.    Scrappy-0.94112090/t/00_test_function_page_content_type.t
   
2. CPAN: File::Temp loaded ok (v0.22)
   
3. CPAN: Parse::CPAN::Meta loaded ok (v1.40)
   
4. CPAN: Module::CoreList loaded ok (v2.44)
   
5. ---- Unsatisfied dependencies detected during ----
   
6. ----     AWNCORP/Scrappy-0.94112090.tar.gz    ----
   
7.     File::ShareDir::Install [build_requires]
   
8. Shall I follow them and prepend them to the queue
   
9. of modules we are processing right now? [yes]
   
10.   AWNCORP/Scrappy-0.94112090.tar.gz
    
11.   [configure_requires] -- NOT OK
    
12. 
    
13.   CPAN.pm: Building A/AW/AWNCORP/Scrappy-0.94112090.tar.gz
    
14. 
    
15. Can't locate File/ShareDir/Install.pm in @INC (@INC contains:

复制代码

cpan install   File::ShareDir::Install 以后提示

1. Running install for module 'Scrappy'
   
2. Running make for A/AW/AWNCORP/Scrappy-0.94112090.tar.gz
   
3.   Has already been unwrapped into directory G:\Perl\cpan\build\Scrappy-0.94112090-BZtI9Z
   
4.   'g:\perl\bin\perl.exe Makefile.PL' returned status 512, won't make
   
5. Running make test
   
6.   Make had some problems, won't test
   
7. Running make install
   
8.   Make had some problems, won't install
   

复制代码

这是什么回事？

yakczh_cu

回复 14# iakuf


    Can't locate object method "delay" via package "Mojo::IOLoop" at 　



Bloom::Filter is up to date (1.0).

　
Mojo::IOLoop is up to date (undef).


是不是我的Ｍojo安装得有问题？

yakczh_cu

回复 12# grshrd49


    这是过滤策略

１　（按时间）该链接的响应头　lastmodify比如原来的新
２　（按内容）该页面的md5值　比原来的md5值不同
３　　已经抓取过，不再处理

　
在抓取到的链接里，插入上面想要的过滤代码就可以

主要问题是怎么样根据配置来切换，perl如果动态根据配置，注入一段代码，这个好象比较麻烦　
　

iakuf

回复 16# yakczh_cu
什么系统，什么 Perl 的版本？


   

yakczh_cu

回复 18# iakuf


   
This is perl, v5.10.0 built for MSWin32-x86-multi-thread

win7

iakuf

回复 19# yakczh_cu
windows 就不知道了。另外，这个最少要求好象是 5.10.1