求程序或者思路

picbhan

回复 4# zhangmaocun


    fork. 一般情况下耗时的中间过程在算法上是可以继续优化的。

Perlvim

楼主已经有并行处理的概念，这个不是光使用语法和模块能解决的，需要分配组合工作：

关于效率的问题：

尽量使用字符串引用，而不是传递字符串本身。

分配工作，将一个大文件拆分成大小均等的小文件。
分发这些文件到一个机器的不同进程或不同机器的不同进程
将计算结果组合在一起
用一个程序将结果合并在一起

这个不但有程序的工作，也有人的工作。
在一个充分快的机器上分配，可以用多进程。
在多个机器上分配，就需要人的工作了。

方式很多，思路差不多。

zhangmaocun

laputa73 发表于 2013-03-29 09:35
既然已经有了文件
不明白你要多线程干什么用
直接多进程,从不同的偏移量开始读就ok了

给个例子啊。。。

laputa73

seek FILEHANDLE,POSITION,WHENCE  
http://blog.sina.com.cn/s/blog_4af3f0d20100eou6.html

zhangmaocun

laputa73 发表于 2013-03-29 09:35
既然已经有了文件
不明白你要多线程干什么用
直接多进程,从不同的偏移量开始读就ok了

多进程的话，怎么让主程序等待所有的子进程结束后才执行后面的操作呢？

zhangmaocun

picbhan 发表于 2013-03-29 09:43
回复 4# zhangmaocun

给个主进程等待所有子进程的例子呗。

laputa73

回复 15# zhangmaocun

如果需要等待
    http://search.cpan.org/~szabgab/ ... llel/ForkManager.pm

或者你可以轮询啊.子进程自己维护状态,主进程定时检查.
这样耦合最小.
最简单的往往是最有效的.
   

zhangmaocun

回复 17# laputa73


        my $pid = fork();
    if (!defined($pid)) {
        print "Error in fork: $!";
        exit 1;
    }
    if ($pid == 0) {
        ## == child proc ==
        print "Child: My pid = $$\n";
        process($temp,$id);
        exit 0;
    }
这个的怎么去判断子进程全执行完了。baidu搜到的全不行。。。。

zhangmaocun

回复 17# laputa73

上面的这样写， 把一个数组里的数据每20w行生成一个进程去处理，没执行了一个进程，清空一下临时数组，可是 @temp=();这句总是不了啊。。。大大给优化优化



my $pm = Parallel::ForkManager->new(30);
foreach my $lines(@all_line) {
           $rows++;
        push(@temp,$lines);
    if ( ($rows % 200000)==0 || $rows==@all_line) {
                $id++;
                print "$id\n";
                  my  $temp=\@temp;
             $pm ->start and next;
              process($temp,$id);
              @temp=();
              $pm->finish;
    }
}
$pm->wait_all_children;
print "ok\n";


中间再增加个临时数组：这样能实现，感觉有点不爽。。。
my $pm = Parallel::ForkManager->new(30);
foreach my $lines(@all_line) {
           $rows++;
        push(@temp,$lines);
    if ( ($rows % 200000)==0 || $rows==@all_line) {
                $id++;
                print "$id\n";
                my @temp1=@temp;
                my  $temp=\@temp1;
                undef（@temp）；
             $pm ->start and next;
              process($temp,$id);
              @temp=();
              $pm->finish;
    }
}

$pm->wait_all_children;
print "ok\n";

laputa73

回复 18# zhangmaocun


可以用sigchld和waitpid
http://blog.csdn.net/politefish/article/details/5567207