perl多进程问题

liuguiyou1981

我想用多进程提取网页数据，看了仙子写的多进程，自己改了一下，感觉不行，改成了一个循环，哎！
请高手指教！谢谢

网页内容只与http://www.ncbi.nlm.nih.gov/projects/SNP/snp_gene.cgi?rs=$snp中的$snp有关，所以我把它们放在一个单独的文件<>中

#!/usr/bin/perl

use strict;
use warnings;
use LWP::Simple;


print "Starting main program\n";
my @childs;

while(<>){
chomp;

for ( my $count = 1; $count <= 10; $count++) {
        my $pid = fork();
        if ($pid) {
        # parent
        #print "pid is $pid, parent $$\n";
        push(@childs, $pid);
        } elsif ($pid == 0) {
                # child
                get_number($_,$count);
                exit 0;
        } else {
                die "couldnt fork: $!\n";
        }



}


}



foreach (@childs) {
        my $tmp = waitpid($_, 0);
       print "done with pid $tmp\n";

}      

print "End of main program\n";


sub get_number {
        my ($snp,$i) = @_;
        my $url = "http://www.ncbi.nlm.nih.gov/projects/SNP/snp_gene.cgi?rs=$snp";

        $_=get($url);

        if(/\"snp_id\" : (.*),\n/){

                print  "$snp\t$1\n";

               

        

        }
}

climby

不知道为何外层加了while(<>) 循环？ 我去掉了外层循环，另外一些修改看注释吧

1. 
   
2. #!/usr/bin/perl
   
3. 
   
4. use strict;
   
5. use warnings;
   
6. use LWP::Simple;
   
7. 
   
8. print "Starting main program\n";
   
9. my @childs;
   
10. 
    
11. for ( my $count = 1; $count <= 10; $count++ ) {
    
12.     my $pid = fork();
    
13.     if ($pid) {
    
14. 
    
15.         # parent
    
16.         print "pid is $pid, parent $\n";
    
17.         push( @childs, $pid );
    
18.     }
    
19.     elsif ( $pid == 0 ) {
    
20. 
    
21.         # child
    
22.         get_number($count);  #为何要传$_, 在child中，$_ 还没有初始化
    
23.         exit 0;
    
24.     }
    
25.     else {
    
26.         die "couldnt fork: $!\n";
    
27.     }
    
28. 
    
29. }
    
30. 
    
31. foreach (@childs) {
    
32.     my $tmp = waitpid( $_, 0 );
    
33.     print "done with pid $tmp\n";
    
34. 
    
35. }
    
36. 
    
37. print "End of main program\n";
    
38. 
    
39. sub get_number {
    
40.     my ($snp) = @_;
    
41.     print "***$snp \n\n";
    
42.     my $url = "http://www.ncbi.nlm.nih.gov/projects/SNP/snp_gene.cgi?rs=$snp";
    
43. 
    
44.     $_ = get($url);
    
45. 
    
46.     if (/\"snp_id\"\s*:\s*(.*),\n/) {
    
47. 
    
48.         print "$snp\t$1\n";
    
49. 
    
50.     }
    
51. }
    
52. 
    

复制代码

liuguiyou1981

回复 2# climby

谢谢！

    我加while(<>)是因为我有好多个$snp, 也就是有好多个网页，以前我用多线程下载，但是现在perl5.10中不能用多线程了，只好改为多进程，呵呵

climby

回复  climby

谢谢！

    我加while()是因为我有好多个$snp, 也就是有好多个网页，以前我用多线程下 ...
liuguiyou1981 发表于 2010-04-01 11:27

    如果是处理多个网页，多进程应该设在页面级别上，也就是1个进程处理一个页面，对于单个页面的处理，没有耗时复杂的东西需要处理，单进程来完成足够

liuguiyou1981

回复 4# climby


    恩  我理解了，以前我一直多线程下载数据， 是很快，为了提高效率，我决定采用多进程，这是第一次用，呵呵。谢谢了，我还是用一般的试试把