关于perl的多线程&多进程的问题

MMMIX

原帖由 Perl_Er 于 2009-7-1 16:26 发表
改成这个样子是可以的，每次起10个thread，但是每次都要等这10个完成才能起下一轮的10个，有没有更好的办法了。

问题就出在这里

1. 
   
2.                 foreach my $t (keys %thrs){
   
3.                                 $thrs{$t}->join();
   
4.                                 delete $thrs{$t};
   
5.                 }
   

复制代码

在 join 之前，你应该先用 is_joinable 判断下是否能 join，不能的就忽略。另外，也可以考虑直接用 threads->list(threads::joinable) 获取可以 join 的线程的列表，不过这个功能 Perl 5.8.8 没有，Perl 5.10.0 新增加的。

另外如果每次起得太多，对performance影响会比较大,如何确定同时起多少个比较合适. 谢谢！

这个要你自己估计了。

Perl_Er

对的，以前也是这么设计的，但是得到这个错误：Can't locate object method "is_joinable" via package "threads" at thread1.pl.bak line 23.
perl的版本是,
bash-3.2# perl -v

This is perl, v5.8.8 built for PA-RISC1.1-thread-multi
(with 26 registered patches, see perl -V for more detail)

Copyright 1987-2006, Larry Wall

Binary build 817 [257965] provided by ActiveState http://www.ActiveState.com
Built Mar 20 2006 19:44:08

Perl may be copied only under the terms of either the Artistic License or the
GNU General Public License, which may be found in the Perl 5 source kit.

Complete documentation for Perl, including FAQ lists, should be found on
this system using "man perl" or "perldoc perl".  If you have access to the
Internet, point your browser at http://www.perl.org/, the Perl Home Page.




#!/usr/bin/perl
use threads;
use strict;
use Data:umper;

sub prt(){
        `echo "$_[0]" >> t.txt`;
}


my $current_thread;
my %thrs = ();
for(1..300)
{
         $current_thread = scalar (keys %thrs);
         if( $current_thread < 10 )
         {
                $thrs{$_} = threads->create(\&prt,$_);
         }else{
                print "more than 10 threads\n";
                print Dumper \%thrs;
                foreach my $t (keys %thrs){
                        if($thrs{$t}->is_joinable()){
                                $thrs{$t}->join();
                                delete $thrs{$t};
                        }
                }
                $thrs{$_} = threads->create(\&prt,$_);
         }
}
foreach my $t (keys %thrs){
        $thrs{$t}->join();
        delete $thrs{$t};
}

print Dumper \%thrs;

MMMIX

原帖由 Perl_Er 于 2009-7-1 18:00 发表
对的，以前也是这么设计的，但是得到这个错误：Can't locate object method "is_joinable" via package "threads" at thread1.pl.bak line 23.
perl的版本是,
bash-3.2# perl -v

This is perl, v5.8.8 bu ...

Perl 5.8.8 是没有 is_joinable 的。不过你可以用父子线程共享的线程个数计数器来控制子线程数量，然后在线程创建后，将其 detach 掉。

或者，你也可以将 Perl 升级到 5.10.0

[ 本帖最后由 MMMIX 于 2009-7-1 18:14 编辑 ]

Perl_Er

这样好像不行了，好像是加锁的原因，帮忙看看怎么处理？
#!/usr/bin/perl
use threads;
use threads::shared;
use strict;

my $thread_count :shared = 0;

sub prt(){
        lock($thread_count);
        $thread_count++;
        print "the thread is $_[0]\n";
        sleep 1;
        $thread_count--;
}


for(1..30000)
{
        if( $thread_count < 20 )
        {
                if(my $t = threads->create(\&prt,$_)){
                        $t->detach();
                }
        }else{
                print "more than 10 threads\n";
                if(my $tt= threads->create(\&prt,$_)){
                        $tt->detach();
                }
        }
}

[ 本帖最后由 Perl_Er 于 2009-7-1 19:33 编辑 ]

MMMIX

原帖由 Perl_Er 于 2009-7-1 19:28 发表
这样好像不行了，好像是加锁的原因，帮忙看看怎么处理？

这是我写的：

1. 
   
2. #!/usr/bin/perl
   
3. use strict;
   
4. use warnings;
   
5. 
   
6. use threads;
   
7. use threads::shared;
   
8. 
   
9. my $thread_num :shared = 0;
   
10. 
    
11. sub start_thread {
    
12.         print "Thread ", threads->tid(), " started, current thread numbers $_[0]\n";
    
13.         {
    
14.                 lock($thread_num);
    
15.                 $thread_num--;
    
16. 
    
17.                 cond_signal($thread_num);
    
18.         }
    
19. }
    
20. 
    
21. for (1 .. 200) {
    
22.         {
    
23.                 lock($thread_num);
    
24.                 cond_wait($thread_num) until $thread_num < 10;
    
25. 
    
26.                 my $t = threads->create(\&start_thread, $thread_num + 1);
    
27.                 $t->detach();
    
28.                
    
29.                 $thread_num++;
    
30.         }
    
31. }
    

复制代码

很奇怪的是，启动的线程的总数并不是 200 个。

使用 is_joinable 的例子:

1. 
   
2. #!/usr/bin/perl
   
3. use strict;
   
4. use warnings;
   
5. 
   
6. use threads;
   
7. 
   
8. my $thread_num = 0;
   
9. 
   
10. sub start_thread {
    
11.         print "Thread ", threads->tid(), " started, current thread number $_[0]\n";
    
12. }
    
13. 
    
14. for (1 .. 200) {
    
15.         if ($thread_num >= 10) {
    
16.                 for my $t (threads->list(threads::joinable)) {
    
17.                         $t->join();
    
18.                         $thread_num--;
    
19.                 }
    
20.                 redo;
    
21.         }
    
22. 
    
23.         threads->create(\&start_thread, $thread_num + 1);
    
24.         $thread_num++;
    
25. }
    
26. 
    
27. for my $t (threads->list()) {
    
28.         $t->join();
    
29. }
    

复制代码

[ 本帖最后由 MMMIX 于 2009-7-1 21:09 编辑 ]

Perl_Er

我这样可以，你的那个is_joinable的可以吗?

1. #!/usr/bin/perl
   
2. use threads;
   
3. use threads::shared;
   
4. use strict;
   
5. 
   
6. my $thread_count :shared = 0;
   
7. 
   
8. sub prt(){
   
9. 
   
10.     $thread_count++;
    
11.     print "the thread is $_[0]\n";
    
12.     sleep 5;
    
13. #    print "the count is :$thread_count","\n";
    
14.     $thread_count--;
    
15. }
    
16. 
    
17. 
    
18. for(1..101)
    
19. {
    
20.     if( $thread_count < 10 )
    
21.     {
    
22.         if(my $t = threads->create(\&prt,$_)){
    
23.             $t->detach();
    
24.         }
    
25.     }else{
    
26.         sleep 1;
    
27.         print "more than 100 threads\n";
    
28.         redo;
    
29.     }
    
30. }

复制代码

[ 本帖最后由 Perl_Er 于 2009-7-1 21:19 编辑 ]

MMMIX

原帖由 Perl_Er 于 2009-7-1 21:16 发表
我这样可以，

可以什么？

BTW，用 sleep 同步线程/进程是不可靠的。

Perl_Er

就是说我的这个程序运行后是101个线程，去掉sleep也是可以的

MMMIX

原帖由 Perl_Er 于 2009-7-1 21:20 发表
就是说我的这个程序运行后是101个线程，去掉sleep也是可以的

但你那个是不正确的，对共享资源的访问应该加锁。

我把你那个去掉 sleep 运行了多次，结果各次创建的子线程的总数并不相同。

[ 本帖最后由 MMMIX 于 2009-7-1 21:34 编辑 ]

MMMIX

原帖由 Perl_Er 于 2009-7-1 21:16 发表
你的那个is_joinable的可以吗?

那个没有问题。