4个文件中寻找相同行

午夜凋零

有4个文件，每个都有15万行左右。每行长度在120个字母左右，要求找出4个文件中都出现过的行，打印出来。
每个文件中不会有重复的行。
下面是我的脚本，发现运行起来非常慢，每100行大约要4~5秒，到10万行时，每100行大约要执行10多秒。
想请位各位高手，有没有快速的方法？非常感谢~~

1. use warnings;
   
2. use strict;
   
3. 
   
4. open my $f0, "<", "changes.tcl.core0" or die;
   
5. open my $fo, ">", "changes.tcl.same" or die;
   
6. 
   
7. `rm changes.tcl.same` if (-e "changes.tcl.same");
   
8. 
   
9. my $cnt = 0;
   
10. while ( <$f0> ) {
    
11.     chomp;
    
12.     my @a = `grep '$_' changes.tcl.core* -l`;
    
13.     print $fo "$_\n" if @a==4;
    
14.     print "cnt=$cnt\n" unless $cnt % 100;
    
15.     $cnt = $cnt + 1;
    
16. }
    
17. print "Done!\n";

复制代码

午夜凋零

dgtnk 发表于 2013-07-30 16:24
如果是我，我会遍历四个文件，每行作为hash的key，每行出现一次该key对应的value加1，最后输出value等于4的 ...

这样的话，需要把4个文件都同时吃进来，会不会更慢啊？

午夜凋零

非常感谢楼上各位大大的解答。

最后小弟还是采用了2楼大哥的方法，发现机器还是挺给力的。

午夜凋零

lhohoz 发表于 2013-07-30 21:44

多谢这位大哥。
个人认为，中间那部分得到4个数组的地方可以去掉，因为前提是不会有重复的行。

午夜凋零

rubyish 发表于 2013-07-30 23:30

高手！膜拜啊！
非常感谢~~