4个文件中寻找相同行

午夜凋零

有4个文件，每个都有15万行左右。每行长度在120个字母左右，要求找出4个文件中都出现过的行，打印出来。
每个文件中不会有重复的行。
下面是我的脚本，发现运行起来非常慢，每100行大约要4~5秒，到10万行时，每100行大约要执行10多秒。
想请位各位高手，有没有快速的方法？非常感谢~~

1. use warnings;
   
2. use strict;
   
3. 
   
4. open my $f0, "<", "changes.tcl.core0" or die;
   
5. open my $fo, ">", "changes.tcl.same" or die;
   
6. 
   
7. `rm changes.tcl.same` if (-e "changes.tcl.same");
   
8. 
   
9. my $cnt = 0;
   
10. while ( <$f0> ) {
    
11.     chomp;
    
12.     my @a = `grep '$_' changes.tcl.core* -l`;
    
13.     print $fo "$_\n" if @a==4;
    
14.     print "cnt=$cnt\n" unless $cnt % 100;
    
15.     $cnt = $cnt + 1;
    
16. }
    
17. print "Done!\n";

复制代码

dgtnk

如果是我，我会遍历四个文件，每行作为hash的key，每行出现一次该key对应的value加1，最后输出value等于4的所有key。

午夜凋零

dgtnk 发表于 2013-07-30 16:24
如果是我，我会遍历四个文件，每行作为hash的key，每行出现一次该key对应的value加1，最后输出value等于4的 ...

这样的话，需要把4个文件都同时吃进来，会不会更慢啊？

Kotokz

回复 2# dgtnk

不会有重复行,忽略我把..

kk861123

回复 3# 午夜凋零


如果有内存占用太大的考虑，可以先对两个文件遍历一遍，然后只留下相同的部分，然后只把相同部分与文件3进行比较还是留下相同的部分，最后比较4

jason680

回复 1# 午夜凋零

Would you like this ...
Note: it works on sorted file only.

# grep . t*
t1:xx1
t1:xxx
t1:yyy
t2:xx2
t2:xxx
t2:yyy
t3:xx3
t3:xxx
t3:yyy
t4:xx4
t4:xxx
t4:yyy

# perl f4.pl t1 t2 t3 t4
xxx
yyy


# cat f4.pl
use strict;
use warnings;

my @aFH;
my @aData;
foreach(@ARGV){
  open(my $sFH, "<", $_) or die "can't open $_\n";
  push @aFH, $sFH;
}
foreach my $sFH (@aFH){
  my $sTmp = readline($sFH);
  push @aData, $sTmp;
}
while(1){
  my $sFHnum = sortdata(@aData);
  if($sFHnum == -1){  # got the same data in @aData
    print $aData[0];      # output it
    $sFHnum = 0;         # and set $sFHnum for first file
  }
  $aData[$sFHnum] = readline($aFH[$sFHnum]);
  if(!defined $aData[$sFHnum]){
    close $_ foreach @aFH;
    exit;
  }
}

sub sortdata{
  my @aData = @_;
  my $sTemp = shift @aData;
  my $sLoc = 0;
  my $sMin = 0;
  my $sEqual = 0;
  foreach(@aData){
    $sLoc++;
    my $sCmp = ($sTemp cmp $_);
    if($sCmp == 0){
      $sEqual++;
      next;
    }
    if($sCmp > 0){
      $sMin = $sLoc;
      $sTemp = $_;
    }
  }
  return( $sEqual == $sLoc ? -1 : $sMin);
  #  -1 for all data are the same
}

   

午夜凋零

非常感谢楼上各位大大的解答。

最后小弟还是采用了2楼大哥的方法，发现机器还是挺给力的。

lhohoz

1. #!/usr/bin/perl
   
2. use warnings;
   
3. use strict;
   
4. 
   
5. my (@a, @b, @c, @d, @isect);
   
6. my (%a, %b, %c, %d, %count);
   
7. open(A, "a.txt") or die "can't open : $!";
   
8. open(B, "b.txt") or die "can't open : $!";
   
9. open(C, "c.txt") or die "can't open : $!";
   
10. open(D, "d.txt") or die "can't open : $!";
    
11. @a = grep { ! $a{$_}++ } <A>;
    
12. @b = grep { ! $b{$_}++ } <B>;
    
13. @c = grep { ! $c{$_}++ } <C>;
    
14. @d = grep { ! $d{$_}++ } <D>;
    
15. 
    
16. foreach my $e (@a, @b, @c, @d) { $count{$e}++ }
    
17. foreach my $f (keys %count) {
    
18.     if ( $count{$f} == 3 ) {
    
19.         push @isect, $f;
    
20.     }
    
21. }
    
22. print "$_\n" for @isect;

复制代码

午夜凋零

lhohoz 发表于 2013-07-30 21:44

多谢这位大哥。
个人认为，中间那部分得到4个数组的地方可以去掉，因为前提是不会有重复的行。

lhohoz

回楼上 没有重复的话可以去掉