Perl爬虫，爬整站研究

墨迹哥

回复 69# laputa73


    对的，我没有理解透，那天自己研究了一晚上，也没理解出来。。

    感觉好像有点偏差，这几天修复完代码我就开始细的测试，看看到底是什么地方没理解。

    目前大概知道的情况是，use threads; use threads::shared;这两个包我已经理解了。
  
    这个use Thread::Semaphore;信号量的我也知道怎么回事了。

    目前就use Bloom::Filter;还有这个use Thread:ueue; 理解有点吃力。

    不知道有没有什么好多的方法？还真想请教下。劳烦你点播下。谢谢啦

墨迹哥

回复 68# grshrd49


    不需要过度的去做太多的东西，只需要能够爬出就好。

     因为测试的话，主要测的是漏洞。后续会把样本和规则放在INI配置里面，用于测试使用。

     现在主要的问题就是爬虫了。能把页面的URL全部爬下来，那就基本上没有太大的问题。

     主要问题还是在不同深度上。

墨迹哥

回复 68# grshrd49


    我觉得把，还是优化基础功能先，别琢磨别的了。
   
    基础功能实现以后才能扩展，一步一脚印的走比较好。你觉得呢。。。。

grshrd49

回复 73# 墨迹哥


是这样的！如果一个功能都无法正常的运行 ，谈什么优化呢
我刚刚改了我的脚本 findpageurl 这个函数我把发现的相对路径的url的处理方法加了个判断

1. ###################################
   
2. #请求url从返回页面中获取有用的url
   
3. ###################################
   
4. sub findpageurl{
   
5.         my ($rooturl,$url,$base_url,$a) = @_;
   
6.         my @exclude = @$a;
   
7.         my $UA = LWP::UserAgent->new();
   
8.         $UA->max_redirect(1);        #控制重定向深度
   
9.         my $req = HTTP::Request->new( GET => "$url" );
   
10.         my $resp = $UA->request($req);
    
11.         #$UA->timeout(10);
    
12.         my @page;
    
13.         my @hrefurl;
    
14.         my @srcurl;
    
15.         my $return_code;
    
16.         my $tempurl;
    
17. 
    
18.         #链接不是200返回错误代码
    
19.         $return_code = $resp->code;
    
20.         print "requset return code:$return_code\n";
    
21.         return $return_code unless ($return_code == 200);
    
22.         @page = split /\n/,$resp->content;
    
23. 
    
24.         for(@page){
    
25.                 if(s/href="(.+?)"//g){
    
26.                         #print "$1\n";
    
27.                         $tempurl = $1;
    
28.                         #这里改了.判断非http开头的相对路径地址，组装上根域名，如果不是/开头的再加上组装上/
    
29.                         unless($tempurl =~ /^http/){
    
30.                                 if($tempurl =~ /^\//){
    
31.                                         $tempurl = $rooturl . $tempurl;
    
32.                                 }else{
    
33.                                         $tempurl = $rooturl ."\/". $tempurl;
    
34.                                 }
    
35.                         }
    
36.                         next if (map {$tempurl=~/$_/i} @exclude);
    
37.                         substr($tempurl,-1) =~ s/\///;        #移除url最后的 /
    
38.                         push @hrefurl,$tempurl;
    
39.                 }
    
40.                 push @srcurl,$1 if(/src="(.*?)"/g);
    
41.         }
    
42.         print "requset return url\n";
    
43.         return @hrefurl;
    
44. }

复制代码

laputa73

queue从字面看就是队列,fifo,你的分析程序往队列里面放,爬虫程序从队列里面拿目标.
至于bloom::filter,那就是个高效的过滤器,仙子和iakuf的帖子有详细解释
其实就是判定你分析出来的url是否是重复的,你用hash当然也可以,但是bloom:filter占用资源小很多
所以就是每分析得到一个url,先用filter检查,如果是新的,就add到filter,同时enqueue
爬虫线程主要从queue里面dequeue然后爬就好了

这个无非都是为了效率.
你要是不考虑效率,把分析结果入mysql,爬虫从mysql里面去拿
这样是否更好理解?但是性能就差很多.


话说,你为啥不试试anyevent?
用py的话说
cobrawgl 发表于 2012-05-09 13:20
用 AnyEvent::HTTP 做爬虫可真不错
别的不敢说，做爬虫，肯定是Coro + AnyEvent::HTTP，性能和内存使用好到你不信，呵呵

grshrd49

laputa73 发表于 2013-07-10 12:25
回复 64# 墨迹哥

http://bbs.chinaunix.net/forum.p ... st%3D1%26digest%3D1
我刚刚测试这个爬虫！这个是什么情况呀 我4g内存就溢出了啊？

laputa73

hao123的链接太多,可能会把queue撑爆?那个程序没有控制数量.而且windows下的thread感觉也不靠谱.

墨迹哥

回复 75# laputa73


    重点我不会啊。。。求例子分享。。另外问个题外话，8月大会你来不来？一起吃个饭HAPPY下？{:2_178:}

墨迹哥

回复 76# grshrd49


    你用的是云总那个爬虫把。。有问题的。那个爬虫，这个也是我当时说的问题。

    URL数量一旦超过定义的数值，直接就成这样了。。到现在都没有解决的办法。所以，骚年，你放弃这个脚本吧。

    但是云总的代码里还是有学习的价值。可以临摹下。

墨迹哥

回复 4# iakuf


    八月来北京否啊？= =  最近工作忙碌。没啥时间上论坛，到现在才看到你发的回复。。 = =# 骚瑞。。