求助：Coro多线程采集网页的时候假死问题

py

104359176 发表于 2015-08-30 20:17
Perl 内置并不支持并发。第三方模块实现的并发，是真的并发吗？有真正支持并发（内置)的语言，要是我的话，就用支持并发的语言实现，并发涉及到底层线程和进程的调度，如果出了问题，不是语言本身的能力，很难跟踪调试。

最稳定的工具是语言，也是最可信赖的东西，要使用第三方模块，必须能跟踪其中的问题。

这个很多地方说的不对。你不了解 Coro

py

采集个网页这样简单的任务，怎么“线程退出”都上来了。。。不需要显示调用 cancel

你代码我只看了前几行。尽量不要混用阻塞和非阻塞模块，不要用 LWP 的东西，用 AnyEvent::HTTP

Coro 这种精良程度的模块是不会出现在这么简单的任务上发生所谓“假死”的，一定是你哪没做对。

最后再次说明，Coro 是协程，是单线程单进程的。

patagonia2

回复 11# py
第三方模块实现的并发
是真的并发吗

tc1989tc

回复 13# patagonia2


   不是真的并发 其实你可以看coro的文档，里面解释啦

patagonia2

回复 14# tc1989tc


perl是有真的并发吗

laolun

问题解决了，用

1. AnyEvent::HTTP

复制代码

搞定。速度比之前的快很多。
附上io那部分代码：

1. sub thread_io{
   
2.         while (1)
   
3.         {
   
4.             if ($#data_queue == -1)
   
5.             {
   
6.                 Coro::Timer::sleep(1);
   
7.                 next;
   
8.             }
   
9.             my $data = shift(@data_queue);
   
10.             ++$processing_count;
    
11.             http_request GET=>$data, headers=>{ "user-agent" => 'Mozilla/5.0 (Windows NT 6.1; rv:40.0) Gecko/20100101 Firefox/40.0'}, timeout=>60, sub {
    
12.                 my ($body, $hdr)=@_;
    
13.                 if($hdr->{Status} =~ /^2/){
    
14.                     print $data."\t"."success\n";
    
15.                     push(@result_queue, "$data\t".do_sth(filter($body)));
    
16.                 }else{
    
17.                     print $data."\t"."failed\n";
    
18.                     append("failed.txt", $data."\n");
    
19.                 }
    
20.             };
    
21.             --$processing_count;
    
22.         }
    
23. }

复制代码

删掉了LWP模块，删掉了监控线程，

1. AnyEvent::HTTP

复制代码

的timeout会自动结束超时的连接。
膜拜版主，谢谢！学艺不精，需要多多努力啊，都准备去研究java了，真惭愧！

py

patagonia2 发表于 2015-08-31 14:49
回复 11# py
第三方模块实现的并发
是真的并发吗

什么叫“真的并发”？
Coro 当然是并发的。
但是 Coro 是单进程单线程的，和 NodeJS 是一样的，实际上底层使用的东西也是一样的。

laputa73

以抓网页为例，从目标网站的角度，AE/coro一个进程可以同时抓上千网页，就是并发
如果你从cpu的角度，这1000个协程确实是串行时分复用。
但是进程、线程并发，同样cpu是按时间片调度的，只不过多核情况稍有不同。
要利用多核，就多进程+协程。
golang/erlang直接可以利用多核,但是实现的麻烦事也多不少。协程之间还要解决互斥。
nodejs,coro就没这问题。