[Coro+Anyevent]测试HTTP代理Demo

墨迹哥

之前常听PY说Coro+Anyevent会很牛X。。。然后晚上刚好被妹子放了鸽子，
心情略微郁闷了下，写了个DEMO让自己心情好起来。。


回头研究下怎么优化，改天把爬虫的DEMO也弄出来。
这个东西其实还有很多扩展的空间，例如BS算法加入、多进程等，大家都懂的。
随意扩展。。。

1. #!perl
   
2. use utf8;
   
3. use AnyEvent;
   
4. use AnyEvent::HTTP;
   
5. use Data::Dumper;
   
6. use Coro;
   
7. 
   
8. my $calculate = new Coro::Channel;
   
9. my $result = new Coro::Channel;
   
10. 
    
11. 
    
12. # all proxy results
    
13. our @proxy_results;
    
14. 
    
15. # proxy page list
    
16. my $url="http://proxy.com.ru/";
    
17. 
    
18. my $cv = AnyEvent->condvar;
    
19. eval {
    
20.         # proxy page list
    
21.         my $url="http://proxy.com.ru/";
    
22. 
    
23.         $cv->begin;
    
24.         http_get(
    
25.                 $url,
    
26.                 sub {
    
27.                         my ( $content, $header, $hdr ) = @_;
    
28.                         if ($content=~m/<a href='list_([0-9]{1,3}).html'>\[<b>(.*)<\/b>\]<\/a>/){
    
29.                                 $tmp_result=$2;
    
30.                                 @tmp_pages=split(/\[<b>/,$tmp_result);
    
31.                                 # count page
    
32.                                 $all_pages=$tmp_pages[-1];
    
33.                                 ru_proxy($url,$all_pages,$content);
    
34.                         }       
    
35.                         $cv->end;
    
36.                 }
    
37.         );
    
38. };
    
39. if ($@) {
    
40.         print "Error!\n";
    
41. }
    
42. $cv->recv();
    
43. 
    
44. # ip picking up
    
45. sub ru_proxy{
    
46.         my ($url,$pages,$content) = @_;
    
47.         foreach my $p (2..$pages){
    
48.                 $cv->begin;
    
49.                 http_get(
    
50.                         $url."/list_".$p.".html",
    
51.                         sub {
    
52.                                 my ( $content, $header, $hdr ) = @_;
    
53.                                 foreach my $line (split(/\n/,$content)){
    
54.                                         if ( $line =~m/<td>([0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3})<\/td><td>([0-9]{1,5})<\/td>/){
    
55.                                                 push(@proxy_results,"http://".$1.":".$2."/");
    
56.                                         }
    
57.                                 }
    
58.                                 $cv->end;
    
59.                         }
    
60.                 );
    
61.         }
    
62.         foreach my $line (split(/\n/,$content)){
    
63.                 if ( $line =~m/<td>([0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3}\.[0-9]{1,3})<\/td><td>([0-9]{1,5})<\/td>/){
    
64.                         push(@proxy_results,"http://".$1.":".$2."/");
    
65.                 }
    
66.         }
    
67. }
    
68. 
    
69. # useing coro module
    
70. async {
    
71.         while (){
    
72.                 my $task = $calculate->get;
    
73.                 # testing proxy
    
74.                 AnyEvent::HTTP::set_proxy $task;
    
75.                 http_get(
    
76.                         "http://bbs.chinaunix.net/forum.php",
    
77.                         sub {
    
78.                                 my ($content,$header)=@_;
    
79.                                 if ( $content =~m/<title>(.*)<\/title>/){
    
80.                                         $result->put("proxy:".$task."title:".$1."\n");
    
81.                                 }
    
82.                         }
    
83.                 );
    
84.         }
    
85. };
    
86. 
    
87. 
    
88. foreach my $t (@proxy_results){
    
89.         $calculate->put($t);
    
90. 
    
91.         print $result->get."\n";
    
92. }
    

复制代码

墨迹哥

这些看了不说话的会怀孕。

shijiang1130

This is perl, v5.8.8 for win， 我的版本太老了，anyevent没法装上

墨迹哥

回复 3# shijiang1130


    好吧，没有注意到老人的感受。。我有罪。。。。

    只是不太理解为毛PY不出来指点了。。。。。

    [@]py[/@]

laputa73

你要写个简单的程序注解，背景，目的，
分段描述或者注释
这么大段程序看起来很费劲的。

墨迹哥

回复 5# laputa73


    # 号开头那些就是注释啊！没有任何目的，纯属娱乐。。。背景就是我不懂，然后现在懂了

墨迹哥

现在在改写程序，有些地方理解还是不够深入，需要去接着看看模块的说明。

1. #!/usr/bin/perl
   
2. use Coro;
   
3. use AnyEvent::HTTP;
   
4. use Data::Dumper;
   
5. use encoding utf8;
   
6. 
   
7. our $timeout=5;                # HTTP GET or POST time out set.
   
8. 
   
9. our $proxy_tmp=new Coro::Channel;                # proxy tasks work.
   
10. my @proxy_results;
    
11. 
    
12. our $attack_task=new Coro::Channel;                # testing task work.
    
13. our $testing_resuls=new Coro::Channel;        # testing task results
    
14. 
    
15. # proxy work
    
16. async {
    
17.         eval {
    
18.                 while () {
    
19.                         # proxy url push in queue if proxy is alive.
    
20.                         my $task=$proxy_tmp->get;
    
21.                         AnyEvent::HTTP::set_proxy $task;
    
22.                         http_get (
    
23.                                 "http://bbs.chinaunix.net/forum.php",
    
24.                                 timeout => $timeout,
    
25.                                 sub {
    
26.                                         my ($content,$header)=@_;
    
27.                                         if ($content =~/ChinaUnix/){
    
28.                                                 push(@proxy_results,$task);
    
29.                                         }
    
30.                                 }
    
31.                         );
    
32. 
    
33.                 }
    
34.         };
    
35.         if ( $@ ) {
    
36.                 print "[*] proxy testing is Error!\n";
    
37.         }
    
38. };
    
39. 
    
40. # testing alive work , if task is alive , Fuck up.
    
41. async {
    
42.         eval {
    
43.                 while () {
    
44.                         my $task = $attack_task->get;        # pick up for task
    
45.                         if ( $task->{'proxy'} ==1 ) {
    
46.                                 print "daili\n";
    
47.                                 my $proxy = pop(@proxy_results);        # pick up for proxy
    
48.                                 print "Start\n";
    
49.                                 # set proxy
    
50.                                 AnyEvent::HTTP::set_proxy $proxy;
    
51.                                 # testing url
    
52.                                 http_get(
    
53.                                         $task->{'url'},
    
54.                                         timeout => $timeout,
    
55.                                         sub {
    
56.                                                 my ( $content , $header )= @_;
    
57.                                                 if ($header->{Status}==200){
    
58.                                                         $item=200;
    
59.                                                 }elsif ($header->{Status}==403){
    
60.                                                         $item=403;
    
61.                                                 }else{
    
62.                                                         $item=$header->{Status};
    
63.                                                 }
    
64.                                         }
    
65.                                 );
    
66.                                 print "testing by proxy: ".$item."\n";
    
67.                         }else{
    
68.                                 print "testing by not proxy: ".$task->{'url'}."\n";
    
69.                         }
    
70.                 }
    
71.         };
    
72.         if ( $@ ) {
    
73.                 print  Dumper \$@;
    
74.         }
    
75. };
    
76. 
    
77. my %aa;
    
78. $aa{'url'}="http://www.baidu.com";
    
79. $aa{'proxy'}=1;
    
80. # print Dumper %aa;
    
81. $attack_task->put(\%aa);
    
82. print "aLL;";
    
83. 
    
84. cede;

复制代码

墨迹哥

想把爬虫改出来，貌似有难度。。先MARK下，改天继续改。。先陪妹子先。。

1. #!/usr/bin/perl
   
2. 
   
3. ########################
   
4. #       
   
5. #     task:  Spider
   
6. #
   
7. #
   
8. ########################
   
9. use URI::URL;
   
10. use Data::Dumper;
    
11. use Bloom::Filter;
    
12. use Coro;
    
13. use AnyEvent::HTTP;
    
14. 
    
15. my @coro_list;
    
16. my $base_url=$ARGV[0] || "http://blog.linuxeye.com/";
    
17. my $calculate = new Coro::Channel;
    
18. my $sem=new Coro::Semaphore 100;
    
19. my $filter = Bloom::Filter->new(capacity => 5000000, error_rate => 0.001);
    
20. my $host = URI::URL->new($base_url)->host;
    
21. 
    
22. $calculate->put($base_url);
    
23. $filter->add($base_url);
    
24. 
    
25. 
    
26. while(1)
    
27. {
    
28.         foreach(@coro_list){
    
29.                 $_->join;
    
30.         }
    
31. 
    
32.         my $item=$calculate->size;
    
33.         if ($item==0){
    
34.                 if ($sem->count==100){
    
35.                         print "[*] Spider Finish!\n";
    
36.                         last;
    
37.                 }else{
    
38.                         sleep 1;
    
39.                         next;
    
40.                 }
    
41.         }
    
42. 
    
43.         while($sem->down)
    
44.         {
    
45.                 push @coro_list,async {
    
46.                         $url=$calculate->get;
    
47.                         http_get $url, cb => Coro::rouse_cb;
    
48.                         my @res = Coro::rouse_wait;
    
49.                         print Dumper \@res;
    
50.                 };
    
51.         }
    
52. 
    
53. 
    
54. }
    
55. 
    
56. foreach(@coro_list){
    
57.         $_->join;
    
58. }

复制代码

flw

墨迹哥 发表于 2014-08-18 12:26
只是不太理解为毛PY不出来指点了。。。。。

我来告诉你为什么。

py
我早就看见他这帖子了，为了最大程度的帮助他，我就是不出声

py
老问问题是非常不好的事，对自己很不好。必须得有能力自己弄明白了，没有，就慢慢长上这个能力

墨迹哥

回复 9# flw


    你们太坏了。。。幸亏我折腾出来了。。。