A,B文件对比，输出C文件，求高效算法

fikong2005

我昨天已经发了一贴，人气不高，今天再发一贴，并给出实例

A是明细文件，B是关键字文件，
根据A的第二列值(逗号分隔)，去B(只有一列)的关键字文件匹配，存在，则输出到C文件，
A,B,C的样例数据：
A文件:
123,B,343Y65
321,C,6547657
435,D,23R4RT353
678,A,423242

B文件:
A
B

C文件:
123,B,343Y65
678,A,423242

具体算法：
sub filterFile
{
        my ($processFile,$filterFile1,$outputFile) = @_;
        my %hashFile;
       
        open (OUTFILE, ">>${outputFile}") or die "can't open file: $outputFile";
       
        open FH, "<$filterFile1" or die "can't open file: $filterFile1";
    while (<FH>)
     {
         chomp;
        $hashFile{$_} = 1;
     }
    close (FH);
       
        open FH, "<$processFile" or print "can't open file: $processFile";
    while (<FH>)
     {
        chomp;
        my @filed =split /,/ ;
        print OUTFILE "$_\n" if (defined$hashFile{$filed[1]});
     }
     
close (FH);
close(OUTFILE);
}      

测试样例：
A文件:372M
B文件：20个关键字
耗时：75秒

因为正式环境的文件预计有2G左右大小，因此才更优算法，谢谢各位大虾帮忙。

iamlimeng

while (<FH>)
     {
        chomp;
        my @filed =split /,/ ;
        print OUTFILE "$_\n" if (defined$hashFile{$filed[1]});
     }

改为

while (<FH>)
     {
        my @filed =split(',',$_);
        print OUTFILE "$_" if ($hashFile{$filed[1]});
     }

以减少一点点操作，能提一点点速，肯定不明显。

fikong2005

回复2楼，呵呵，尝试了一下，节省了7秒钟。

ttcn_cu

my $reg=join '|',keys %hashFile;
while (<FH>) {
        print OUTFILE "$_" if /^.*,($reg),/;
}

fikong2005

回复4楼，采用你的写法后，只需要24秒，厉害啊，呵呵。
能否稍微解释一下含义，谢谢！

iamlimeng

split是有点慢，在大量处理文本数据的时候，尽量用别的方式。正则也是较慢的。如果第一列是固定列宽，LZ可以使用substr，那样会快不少。

zhlong8

人气不高是因为问题简单啊，各方面昨天基本都说到了……总不至于1+1也引起热烈讨论吧

wind_ch

1. 
   
2. while (<FH>)
   
3.      {
   
4.         $_ =~ m/^\d+,(\w)/;
   
5.         print OUTFILE "$_" if defined($hashFile{$1});
   
6.      }
   

复制代码

fikong2005

谢谢 iamlimeng 的提示，第一列恰好是定长，因此我修改了 ttcn_cu 的语句为：
while (<FH>) {
        print OUTFILE "$_" if /^.{11},($reg),/;
      }
结果又快了7秒钟。

liseen

1. 给正则加上 (?:
2. 另外提前编译正则

可以再试试