这个可是效率最高的爬虫

flw

写程序不拆分成几个 sub 就好比写作文一逗到底一样，都是不好的习惯。

yvmu

大骆驼书上开篇提到过这个问题，拆分过头了也不好…

flw

我给你看看我的代码，你就知道问题了。

1. 77 sub run {
   
2. 78     my ($devList, $code, $cocurrent) = @_;
   
3. 79
   
4. 80     my $reqQueue = new Coro::Channel $cocurrent;
   
5. 81     my $resQueue = new Coro::Channel $cocurrent;
   
6. 82
   
7. 83     my $coro = new Coro \&pusher, $reqQueue, $devList;
   
8. 84     $coro->ready();
   
9. 85
   
10. 86     foreach (1..$cocurrent){
    
11. 87         my $coro = new Coro \&worker, $reqQueue, $resQueue, $code;
    
12. 88         $coro->ready();
    
13. 89     }
    
14. 90
    
15. 91     my $count = @$devList;
    
16. 92
    
17. 93     print STDERR "共有 $count 台设备需要处理。\n";
    
18. 94
    
19. 95     collecter( $resQueue, $count );
    
20. 96 }

复制代码

yvmu

用Coro::Channel实现的工作者/消费者模型，这个函数初始化相关的异步进程，放到ready列队里。放到一个sub里确实很合适。