Perl爬虫，爬整站研究

墨迹哥

我发现这个帖子烂产了。。。到最后都没有好的解决方案！

grshrd49

试试这个，哈哈！测试用了2天！爬hao123用了基本2天...
$rooturl最后不要/结尾，$base_url这个可以确保不要爬到外面去
(jpg|png|exe|rar|zip|bmp|apk)$/i)这些结尾的连接就不再深度查找
控制了302页面重定向的深度
如果遇到实在无法理解的非法页面，加到@exclude = ();数组中发现了就不再请求

1. #!C:\Perl\bin\perl.exe
   
2. use strict;
   
3. use LWP::UserAgent;
   
4. use HTTP::Request::Common qw(GET);
   
5. 
   
6. my $rooturl = "http://www.hao123.com";
   
7. my $base_url = "hao123";
   
8. my @exclude = ();
   
9. #my @exclude = ("thread");#url排除
   
10. 
    
11. my @storeurl;
    
12. my @newurl;
    
13. my @findurl;
    
14. my @waitfindurl;
    
15. my $temp=0;
    
16. 
    
17. push @waitfindurl,$rooturl;
    
18. push @storeurl,$rooturl;
    
19. 
    
20. while($#waitfindurl>=0){
    
21.         my $wfu = shift @waitfindurl;
    
22.         #last if (@storeurl > 150);
    
23.         print @storeurl ." ". @waitfindurl." $temp $wfu\n";
    
24.         $temp++;
    
25.         @findurl = ();
    
26.         @findurl = &findpageurl($rooturl,$wfu,$base_url,\@exclude);
    
27.         next unless ($findurl[0] =~ /http/i);        #返回不时http就忽略
    
28.        
    
29.         for my $fu (@findurl){
    
30.        
    
31.                 my $finded = 0;                                #如果是已知的url就舍弃
    
32.                 for my $su (@storeurl){
    
33.                         if($fu eq $su){
    
34.                                 $finded++;
    
35.                                 last;
    
36.                         }
    
37.                 }
    
38.                 next if($finded);
    
39.                
    
40.                 next unless ($fu =~ /http/i);                        #剔除非http的链接
    
41.                 push @storeurl,$fu;
    
42.                 if (!($fu =~ /.(jpg|png|exe|rar|zip|bmp|apk)$/i)){        #不是规定结尾的连接不再深度查找
    
43.                         if ($fu =~ /$base_url/i){                                        #是本站连接继续深度查找
    
44.                                 push @newurl,$fu;
    
45.                         }
    
46.                 }
    
47.                
    
48.                 #这里可以即时将找到的url写入文件
    
49.                 #open FF,">>url.txt";
    
50.                 #print FF "$fu\n";
    
51.                 #close FF;
    
52.                 #print @storeurl." ".@newurl." storeurl _ newurl \n";
    
53.         }
    
54.         push @waitfindurl,@newurl;
    
55.         #shift @waitfindurl;
    
56.         @newurl = ();#清空新找到的url列表
    
57. }
    
58. 
    
59. @storeurl = reverse sort {$a<=>$b} @storeurl;
    
60. #这里是全部找到后一起写入文件
    
61. open FF,">url-last.txt";
    
62. print FF "$_\n" for(@storeurl);
    
63. close FF;
    
64. 
    
65. 
    
66. #####################
    
67. #处理发现的链接
    
68. #####################
    
69. #my @item;
    
70. #for(@storeurl){
    
71. #        if($_ =~ /item/i){
    
72. #                push @item,$_ ;
    
73. #        }
    
74. #}
    
75. #@item =  sort {$a<=>$b} @item;
    
76. #print "$_\n" for(@item);
    
77. 
    
78. 
    
79. ###################################
    
80. #请求url从返回页面中获取有用的url
    
81. ###################################
    
82. sub findpageurl{
    
83.         my ($rooturl,$url,$base_url,$a) = @_;
    
84.         my @exclude = @$a;
    
85.         my $UA = LWP::UserAgent->new();
    
86.         $UA->max_redirect(1);        #控制重定向深度
    
87.         my $req = HTTP::Request->new( GET => "$url" );
    
88.         my $resp = $UA->request($req);
    
89.         #$UA->timeout(10);
    
90.         my @page;
    
91.         my @hrefurl;
    
92.         my @srcurl;
    
93.         my $return_code;
    
94.         my $tempurl;
    
95. 
    
96.         #链接不是200返回错误代码
    
97.         $return_code = $resp->code;
    
98.         print "requset return code:$return_code\n";
    
99.         return $return_code unless ($return_code == 200);
    
100.         @page = split /\n/,$resp->content;
     
101. 
     
102.         for(@page){
     
103.                 if(s/href="(.+?)"//g){
     
104.                         #print "$1\n";
     
105.                         $tempurl = $1;
     
106.                         $tempurl = $rooturl . $tempurl if($tempurl =~ /^\//);
     
107.                         next if (map {$tempurl=~/$_/i} @exclude);
     
108.                         substr($tempurl,-1) =~ s/\///;        #移除url最后的 /
     
109.                         push @hrefurl,$tempurl;
     
110.                 }
     
111.                 push @srcurl,$1 if(/src="(.*?)"/g);
     
112.         }
     
113.         print "requset return url\n";
     
114.         return @hrefurl;
     
115. }
     

复制代码

grshrd49

我发的帖子呢，这个是不是cu论坛的bug啊翻页发帖的第一帖就看不到了一定要再发一贴才能看到？
我已经不止一次遇到这问题了啊

laputa73

现在动态网站很多,象hao123这么好爬的网站不多.
很多链接都是藏在js里面的,尤其是一些视频游戏网站
一般的爬虫是找不全的.

grshrd49

回复 54# laputa73


哪有一个工具可以一劳永逸的佑!?都不是按照自己的需求定制的嘛!你看qtp和lr这样强大的商业工具还不是万能的呢
我这个爬虫可以对一些企业的官网或者平台网站做功能性的功能性的回归测试, 特别是页面上的链接是否都是正确的. 结果还不错呢!嘿嘿

墨迹哥

回复 53# grshrd49


    我觉得CU好像只显示最新的一个评论。。。。
  
    你写这个通用爬虫？

墨迹哥

回复 54# laputa73


    额..我觉得把。JS的那些基本上都忽略就好。。。
  
    目的知识把URL爬下来，然后做一些处理而已啊。。。
  
     主要是1级二级三级的页面，不知道怎么实现抓。。

墨迹哥

回复 54# laputa73


    我主要有个问题想请教你的是，队列这个模块你有研究吗？。。

    我不太懂这个线程队列。。希望能指点下。

grshrd49

回复 56# 墨迹哥


通不通用 哈哈！这个就不知道拉，反正一般的中小站基本通吃
大站的话要爬上一两天，特别是有论坛的这样的网站 ，我后面再考虑用多线程来加快爬行速度

墨迹哥

回复 59# grshrd49


    我测了下，挺稳定的。。还在看程序原理。。
  
    主要有一个好不理解!$base_url..
  
    还在看。。