关于从两个文件中提取需要的行，大家帮我看看为啥我的脚本执行效率超低

kidaaaa

我有两个文件，都是列表形式的数据
现在需要：  当：文件1的第一列与文件2的第二列相同，且文件1的第二列小于等于文件2的第九列，且文件1的第三列大于等于文件2的第十列，
则合并输出这两行。

我的代码如下：

1.   1 #!/usr/bin/perl
   
2.   2
   
3.   3 open PTT, "file1"
   
4.   4 or die 'Can not open the required file file1 !';
   
5.   5 open BR, "file2"
   
6.   6 or die 'Can not open the required file file2 !';
   
7.   7 @PTT = <PTT>;
   
8.   8 @BR = <BR>;
   
9.   9 close PTT;
   
10. 10 close BR;
    
11. 11
    
12. 12 foreach $BR_line (@BR)
    
13. 13 {
    
14. 14     foreach $PTT_line (@PTT)
    
15. 15     {
    
16. 16         @ptt = split /\s+/, $PTT_line;
    
17. 17         
    
18. 18         @br = split /\s+/, $BR_line;
    
19. 19         
    
20. 20         if(($ptt[0] eq $br[1]) and ($br[8] >= $ptt[1]) and ($br[9] <= $ptt[2]))
    
21. 21         {
    
22. 22             chomp $BR_line ;
    
23. 23             print $BR_line , '    ', $PTT_line ;
    
24. 24         }   
    
25. 25     }
    
26. 26 }
    

复制代码

本人初学perl，大家轻拍。
由于我这两个文件数据量都很大一个有几百万行，一个有几千万行，所以要求执行效率很高才行，求高手们帮忙。

yybmsrs

两个文件多大呢？

kidaaaa

回复 2# yybmsrs


    两个都是三四百兆大小，一个几百万行，一个一千多万行。数据量比较大，求教高效率处理方法，谢谢～～

yybmsrs

用数据库

iamlimeng

象你这样，一次性读入内存，很容易将内存资源消耗完而当机。应该一行一行读入，然后判断。以下代码仅供参考，我想运行时间还是会很长，但比你的效率要高很多：

1. #!/usr/bin/perl
   
2. 
   
3. use strict;
   
4. use warnings;
   
5. 
   
6. open BR, "file2" or die 'Can not open the required file file2 !';
   
7. while (my $BR_line = <BR>) {
   
8.          my @br = split /\s+/, $BR_line;
   
9.         open PTT, "file1" or die 'Can not open the required file file1 !';
   
10.         while (my $PTT_line = <PTT>) {
    
11.                  my @ptt = split /\s+/, $PTT_line;
    
12.                  if(($ptt[0] eq $br[1]) and ($br[8] >= $ptt[1]) and ($br[9] <= $ptt[2]))
    
13.                  {
    
14.                          chomp $BR_line;
    
15.                          print $BR_line , '    ', $PTT_line;
    
16.                  }
    
17.          }
    
18.         close PTT;
    
19. }
    
20. close BR;

复制代码

kidaaaa

四楼能具体说说用数据库处理这类问题效率真的可以很高吗？我已经试过用mysql来处理了，好像也不快，运行了几天也没得到输出，不知是mysql数据库处理超大数据量时效率低下的问题还是什么？用PostgreSQL会快很多吗？

谢谢五楼的帮助，我用的是32G内存的小型服务器，内存占用问题并不是问题，我要求关键还是脚本的处理速度要快。你的代码我试了试和我原来的代码执行速度基本相当，不过还是非常感谢～～～

iamlimeng

原以为楼主是在个人计算机上跑，那内存就会被撑暴。

数据库能提高效率，是因为它有针对性地对需要重复查询的数据进行了优化，在没有优化情况下，效率也高不到哪去。要提高效率，一方面应该尽量减少重复计算次数（你的计算量本来就很大，几百万*几千万），一方面还是要尽量减少内存占用（虽然你的内存很大）。如果使用二维数组，并将file1数据一次性构造好，能减少一些计算，效率会得到一定的提高，不过不要期待太高。以下经优化的代码供参考：

1. #!/usr/bin/perl
   
2. 
   
3. use strict;
   
4. use warnings;
   
5. 
   
6. my @ptt_new;
   
7. open PTT, "file1" or die 'Can not open the required file file1 !';
   
8. while (my $PTT_line = <PTT>)
   
9. {
   
10.         my @ptt = split /\s+/, $PTT_line;
    
11.         push(@ptt_new,[@ptt]);
    
12. }
    
13. close PTT;
    
14. 
    
15. open BR, "file2" or die 'Can not open the required file file2 !';
    
16. while (my $BR_line = <BR>)
    
17. {
    
18.         my @br = split /\s+/, $BR_line;
    
19.         for (0..$#ptt_new)
    
20.         {
    
21.                  if($ptt_new[$_][0] eq $br[1] and $br[8] >= $ptt_new[$_][1] and $br[9] <= $ptt_new[$_][2])
    
22.                  {
    
23.                          chomp $BR_line ;
    
24.                          print $BR_line , '    ', join(' ',$ptt_new[$_]);
    
25.                  }
    
26.         }
    
27. }
    
28. close BR;

复制代码

hu145165

LZ 你的文件行数既然不是同一个数量级，又怎么进行比较呢？
文件1的第一列与文件2的第二列相同，且文件1的第二列小于等于文件2的第九列，且文件1的第三列大于等于文件2的第十列，
则合并输出这两行。
既然文件1 的第一列 和文件文件2的第二列相同，为什么不用hash 将相同的一列当为key 来存相同列的行数据
再进行比较？
这样效率就明显要比你高得多，如果像你那样，每一行都要历遍一次文件，效率是可想而知的。
结构可以这样定义:
my %hash;
$hasn{$clumn} = [[split /\s+/,$row1],[split /\s+/,$row2],.....];
乍样要比你效率快多了

iamlimeng

回复 8# hu145165

我开始也是这样想，但认真看了楼主的代码，应该不是那回事。

它是以file2每一行为判断依据，只要file1的每行数据满足条件，就输出，所以不是你想象的那样。这样的计算量确实非常大，也很耗时。

wxlfh

既然文件1和文件2的行数不一样，那么我可以猜想文件1的第一列肯定是唯一的，否则你的比较就没有意义了。那么，可以把文件1的第一列当散列的关键字，文件2的第2列在散列里查找是否有这个关键字。

1. use strict;
   
2. 
   
3. my %file1;
   
4. 
   
5. open my $fh1,"<","file1.txt" or die "Open file1.txt failed.\n";
   
6. while (<$fh1>) {
   
7.     chomp;
   
8.     my @tmp = split /\s+/;
   
9.     $file1{$tmp[0]} = [@tmp[1..$#tmp]];
   
10. }
    
11. close $fh1;
    
12. 
    
13. open my $fh2,"<","file2.txt" or die "Open file2.txt failed.\n";
    
14. open my $out,">","file3.txt" or die "Create file3.txt failed.\n";
    
15. while (<$fh2>) {
    
16.     chomp;
    
17.     my @tmp = split /\s+/;
    
18.     my $key = $tmp[1];
    
19.     if (exist $file1{$key}) {
    
20.         next if not ($file1{$key}->[0] <= $tmp[8]
    
21.                 and $file1{$key}->[1] >= $tmp[9]);
    
22.         my @str = ($key,@{$file1{$key}},@tmp[0,2..$#tmp],"\n");
    
23.         print $out "@str";
    
24.     }else {
    
25.         next;
    
26.     }
    
27. }
    
28. close $fh2;
    
29. close $out;

复制代码