Perl爬虫，爬整站研究

墨迹哥

回复 23# mcshell


    {:2_167:}  - - ！我才知道。。

墨迹哥

回复 27# grshrd49


   
    避免回路出现死循环。使用队列来存储待访问的URL方法简单，网页访问顺序是固定死的；采用来存储待访问的URL，可以很好地用树的层次结构来表示网页的层次结构，对树的遍历可以采用前根遍历，也可以采用层次遍历。
    大量的页面都是我们不需要的--不是当当网图书详情页面，如何少做一些无用功。
    访问页面连接超时时间的设定。如果你网速不好，就设长一点，但是再次提醒你访问的大多数网页都是我们不需要的。

    这个和你说的应该是一致的对吗？

iakuf

回复 29# 墨迹哥

25331 3 http://reg.163.com/reg/reg.jsp?product=urs
25332 3 /otp/controller/index.jsp
Use of uninitialized value in concatenation (.) or string at /usr/local/share/perl/5.14.2/Mojo/UserAgent.pm line 59.
Use of uninitialized value in concatenation (.) or string at /usr/local/share/perl/5.14.2/Mojo/UserAgent.pm line 59.
Use of uninitialized value $host in concatenation (.) or string at /usr/local/share/perl/5.14.2/Mojo/UserAgent.pm line 248.

基础语法多看看，英文多看看，这是有东西没有定义，因为找到的 url 有些没有 host 之类。和那个模块一点关系也没。


   

grshrd49

回复 30# 墨迹哥

1. D:\Program Files\Perl_workspace\网站爬虫>perl otherfind1.pl http://www.chinaunix.net/
   
2. mainweb=http://www.chinaunix.net/
   
3. domain is: chinaunix.net
   
4. webaddress: http://www.chinaunix.net/
   
5. getting the 1 th web of 1 in total
   
6. successed!
   
7. No such file or directory
   
8. 
   
9. D:\Program Files\Perl_workspace\网站爬虫>perl otherfind1.pl www.chinaunix.net
   
10. mainweb=www.chinaunix.net
    
11. wrong input
    
12. 
    
13. D:\Program Files\Perl_workspace\网站爬虫>

复制代码

这个脚本测试结果啊
晕死爬chinaunix直接结束了啊

grshrd49

回复 32# 墨迹哥


我在测试我自己的脚本时候 发现chinaunix上有大量的404和各种分页 还有500 还有没有返回状态值的页面
我的排除功能做的不好,基本通过url硬剔除.
下班后再看看有什么更好的办法

iakuf

回复 5# dugu072
相对路径的问题解决了，还修复了一些小 bug.

1. #!/usr/bin/perl
   
2. use strict;
   
3. use Mojo::UserAgent;
   
4. use Bloom::Filter;
   
5. use Smart::Comments;
   
6. 
   
7. my $dept_level = 2;
   
8. my $baseUrl = Mojo::URL->new($ARGV[0] || 'http://www.chinaunix.net');
   
9. my ($domain) = $baseUrl =~ qr#http://(?:www.)?([^/]+)#;
   
10. my $filter = Bloom::Filter->new(capacity => 100000, error_rate => 0.0001);
    
11. my $ua = Mojo::UserAgent->new(max_redirects => 3);
    
12. 
    
13. my $callback;$callback = sub  {
    
14.     my ($ua, $tx) = @_;
    
15.     return if !$tx->success;
    
16. 
    
17.     my $dept = $tx->req->headers->header('dept');
    
18.     return if $dept > $dept_level; # 深度
    
19.     ++$dept;
    
20.     $tx->res->dom->find("a[href]")->each(sub{
    
21.             my $attrs  = shift->attrs;
    
22.             my $newUrl = Mojo::URL->new($attrs->{href});
    
23. 
    
24.             # 修复 url 的路径
    
25.             if (!$newUrl->host and !$newUrl->scheme) {
    
26.                 $newUrl->host($tx->req->url->host);
    
27.                 $newUrl->scheme($tx->req->url->scheme);
    
28.             }   
    
29.             $newUrl->fragment(undef); # 去掉 foo=bar#23 后面的 #xxx
    
30. 
    
31.             # 域名, 协议, 后缀以下不对的都退出
    
32.             next if ( $newUrl->scheme ne 'http' && $newUrl->scheme ne 'https' );
    
33.             next if $newUrl->host !~ qr/$domain/;
    
34.             next if ( $newUrl->path =~ /.(jpg|png|bmp|mp3|wma|wmv|gz|zip|rar|iso|pdf)$/i );
    
35. 
    
36.             if( !$filter->check($newUrl) ) {
    
37.                 print $filter->key_count(), " $dept ", $newUrl, "\n";
    
38.                 $filter->add($newUrl);
    
39.                 $ua->get($newUrl => { dept => $dept } => $callback);
    
40.             }   
    
41.     });
    
42. };
    
43. 
    
44. $ua->get($baseUrl => { dept => 1} => $callback);
    
45. Mojo::IOLoop->start;

复制代码

撒哈拉里的鱼

云总来了。

iakuf

回复 37# 撒哈拉里的鱼

哈哈。。。。好不容易引出来啊。


   

grshrd49

测试测试!
找个有正确答案的网站测试一下啊
是驴是马一测遍知

墨迹哥

回复 33# iakuf


    {:2_169:}   你知道我英语一致都不怎么好。。。最近才报了华尔街的培训正在加强。。剩下你懂的。。