用多线程和持续连接实现高速WEB请求

hitsubunnu

Coro直接带 Coro::Semaphore; 线程池 不用自己写

1. use strict;
   
2. use warnings;
   
3. use Smart::Comments;
   
4. 
   
5. use Coro;
   
6. use Coro::LWP;
   
7. use Coro::Semaphore;
   
8. use LWP::UserAgent;
   
9. use LWP::ConnCache;
   
10. use constant LIMIT => 200;
    
11. 
    
12. use Benchmark;
    
13. my $TT0 = new Benchmark;
    
14. my $request_times = 1000;
    
15. print "\n Now begin testing ... \n";
    
16. 
    
17. my $outpath = './data';
    
18. my $url = 'http://www.baidu.com';
    
19. 
    
20. my $semaphore = Coro::Semaphore->new(LIMIT);
    
21. my (@coros,@error);
    
22. 
    
23. my $ua    = new LWP::UserAgent;
    
24. my $conncache = new LWP::ConnCache;
    
25. $ua->conn_cache($conncache);
    
26. 
    
27. for my $num (0..999) {
    
28.         my $outfile = $outpath.'/'.$num.'.html';
    
29.         my $outfile_tmp = $outfile.'.tmp';
    
30.     push @coros, async {
    
31.                my $guard = $semaphore->guard;
    
32.        
    
33.                 my $req = HTTP::Request->new(GET => $url);
    
34.                 my $res = $ua->request($req);
    
35.                                                                                                        
    
36.                    if($res->is_success){
    
37.                            my $html = $res -> content;
    
38.                            open(FF,">",$outfile_tmp);
    
39.                            print FF $html;
    
40.                            close(FF);
    
41.                           
    
42.                            if(-e $outfile_tmp){
    
43.                                    unlink $outfile;
    
44.                                    rename $outfile_tmp,$outfile;
    
45.                            }
    
46.                            print $num,'ok',$/;
    
47.                    }else{
    
48.                            push @error,$url;
    
49.                    }
    
50.         };
    
51. }
    
52.        
    
53. $_ -> join for @coros;
    
54.        
    
55. my $TT1 = new Benchmark;
    
56. my $td = Benchmark::timediff($TT1, $TT0);
    
57. $td = Benchmark::timestr($td);
    
58. my ($sec) = ($td =~ /(\d+).*/);
    
59. my $speed = sprintf("%0.1f",$request_times/$sec);
    
60. print "\n Time expend: $td\n Average Speed: $speed Times Per Second\n\n Press Enter to close me ... \7";
    
61. 
    

复制代码

hitsubunnu

回复 11# iamlimeng


   调整LIMIT的数值 现在是并行200个线程

hitsubunnu

7L的不是线程池吧？？？线程池的目的就是为了避免频繁创造线程。7L的达不到这个目的啊，只是限制了同时执行 ...
starwing83 发表于 2010-06-18 22:38

coro这种协程的东西 不能用传统意义的知识标准去衡量 关键还是要看实际效果

就如同 你不能用传统的进程概念去形容erlang的进程

hitsubunnu

但问题是，我用7l的代码发现CPU占用率比楼主的线程池要高（LIMIT已设为10）
starwing83 发表于 2010-06-20 18:49

    ググれカス