请教一下coro多线程抓网页的例子。

laputa1973

刚开始学coro,不太熟悉
请教一下coro多线程抓网页的例子。
coro在碰见线程阻塞会自动调度到其他线程吗，还需要手工cede吗?

1. #!/usr/local/bin/perl
   
2. #测试多个anyevent:http函数的处理
   
3. use strict;
   
4. use Coro;
   
5. use AnyEvent::HTTP;
   
6. 
   
7. 
   
8.   my $coro1 = async {
   
9.          
   
10.             http_get ("http://www.baidu.com/s?wd=1", cb => Coro::rouse_cb );
    
11.             my ($content, $hdr) = Coro::rouse_wait;
    
12.             print "1.$hdr->{Status}.\n";
    
13.             http_get ("http://www.baidu.com/s?wd=2", cb => Coro::rouse_cb );
    
14.             ($content, $hdr) = Coro::rouse_wait;
    
15.       print "2.$hdr->{Status}.\n";
    
16.       return 3;
    
17.    };
    
18.    
    
19.   my $coro2 = async {
    
20.             http_get ("http://www.baidu.com/s?wd=a", cb => Coro::rouse_cb );
    
21.             my ($content, $hdr) = Coro::rouse_wait;
    
22.             print "a.$hdr->{Status}.\n";
    
23.             http_get ("http://www.baidu.com/s?wd=b", cb => Coro::rouse_cb );
    
24.             ($content, $hdr) = Coro::rouse_wait;
    
25.       print "b.$hdr->{Status}.\n";
    
26.       return 4;
    
27.    };
    
28.    my $result = $coro1->join;
    
29.    print "$result.\n";
    
30.    $result = $coro2->join;
    
31.    print "$result.\n";
    
32. 
    
33. #-bash-3.00$ perl coro8.pl
    
34. #1.200.
    
35. #2.200.
    
36. #3
    
37. #a.200.
    
38. #b.200.
    
39. #4
    
40. #-bash-3.00$
    

复制代码

我这么写，从结果看还是串行的，请教一下正确的写法?

py

1. 会的。所以不需要cede
2. 你没写错。最多就是不太合理而已。

你所看到的“结果”，说明：“按照join的顺序得到了结果”。这并不意味着“一切都是串行”的。
假设你用LWP顺序获取1000个网页的结果需要1000s，你用上面你的代码运行的方式创建1000个async，只需要远小于1000s的时间。

1. use Coro;
   
2. use AnyEvent::HTTP;
   
3. 
   
4. my @url = ('http://www.amazon.com/', 'http://www.cpan.org','http://www.google.com', 'http://www.baidu.com');
   
5. 
   
6. my @coro;
   
7. foreach my $url (@url){
   
8.     push @coro, async {
   
9.                 print "start $url\n";
   
10.                 http_get $url, cb => Coro::rouse_cb;
    
11.                 my @res = Coro::rouse_wait;
    
12.                 print "end $url\n";
    
13.         };
    
14. };
    
15. 
    
16. foreach (@coro) {
    
17.         print "joining\n";
    
18.         $_->join;
    
19.         print "joined\n";
    
20. };

复制代码

把每一行的输出顺序都弄明白了，Coro就学会了。
不明白就看Coro的文档（英文的）。读书千遍，其义自见。

cdtits

为何不用 LWP 呢？

斯文牛氓

LWP最直观，并发就fork吧，最简单

laputa1973

回复 4# 斯文牛氓
谢谢楼上
如果用lwp,就不问了。
主要是为了学习coro和异步事件的配合
要实现高效的并发采集


   

py

回复 3# cdtits

如果你需要在短时间内获取1千万个页面，Coro是最优方案。
LWP+fork有太多问题，退一步讲也应该是LWP+Coro
   

cdtits

回复 6# py


    明白了，谢谢！

laputa1973

回复 2# py


    多谢py的指点，正是我需要的。
   coro 的文档通读了有5，6遍吧。
   感觉和stackless python很象,比greenlet 复杂
   不过没有一个完整的例子，总还是没概念。
  
   如作者所说，coro的好处，是可以保留传统的顺序处理的逻辑，而不会被回调函数打断。
   我的想法是，单个的协程是可以被阻塞的，而不影响整体的性能。
   这样在处理并发而又有逻辑顺序的时候，就会清晰一点。

   在做抓网页和ping主机这样的简单操作还体现不出来。
   在处理snmp,telnet等需要交互的场景，就有差别了。

   BTW,Anyevent好像没有提供支持telnet/ssh的模块。
   
   

laputa1973

根据py的指点，重新测试了一下

1. use Coro;
   
2. use AnyEvent::HTTP;
   
3. 
   
4. my $url = 'http://www.baidu.com';
   
5. my $cocurrent = 5;    # 并发数
   
6. 
   
7. my @coro;
   
8. 
   
9. foreach my $i (1..$cocurrent){
   
10.     push @coro, async {
    
11.                 #print "start $i\n";
    
12.                 http_get $url, cb => Coro::rouse_cb;
    
13.                 my @res = Coro::rouse_wait;
    
14.                 print "end $i\n";
    
15.                
    
16.                 #print "start $i\n";
    
17.                 http_get $url, cb => Coro::rouse_cb;
    
18.                 my @res = Coro::rouse_wait;
    
19.                 print "end2 $i\n";
    
20.         };
    
21. };
    
22. 
    
23. 
    
24. 
    
25. foreach (@coro) {
    
26.         print "joining\n";
    
27.         $_->join;
    
28.         print "joined\n";
    
29. };
    

复制代码

输出结果和预想的一致
不同的协程，以及协程内部的多个异步http_get都是异步执行的。
join是同步执行的

1. -bash-3.00$ perl testcoro10.pl
   
2. joining
   
3. end 1
   
4. end 5
   
5. end 2
   
6. end2 1
   
7. joined
   
8. joining
   
9. end2 2
   
10. joined
    
11. joining
    
12. end2 5
    
13. end 3
    
14. end2 3
    
15. joined
    
16. joining
    
17. end 4
    
18. end2 4
    
19. joined
    
20. joining
    
21. joined
    
22. -bash-3.00$

复制代码

py

我一般都不用join
有批量任务的时候，就直接用schedule把主线程挂起。剩下的一切就都交给Coro了