关于从两个文件中提取需要的行，大家帮我看看为啥我的脚本执行效率超低

wxlfh

稍微改了一下，看楼主是不是能用。既然文件1的第1列有重复，那就把文件1第1列重复的都push进一个数组。

1. use strict;
   
2. my %file1;
   
3. 
   
4. open my $fh1,"<","file1.txt" or die "Open file1.txt failed.\n";
   
5. while (<$fh1>) {
   
6.     chomp;
   
7.     my @tmp = split /\s+/;
   
8.     if (exists $file1{$tmp[0]}) {
   
9.         push @{$file1{$tmp[0]}}, [@tmp[1..$#tmp]];
   
10.     }else {
    
11.         $file1{$tmp[0]} = [[@tmp[1..$#tmp]]];
    
12.     }
    
13. }
    
14. close $fh1;
    
15. 
    
16. open my $fh2,"<","file2.txt" or die "Open file2.txt failed.\n";
    
17. open my $out,">","file3.txt" or die "Create file3.txt failed.\n";
    
18. while (<$fh2>) {
    
19.     chomp;
    
20.     my @tmp = split /\s+/;
    
21.     my $key = $tmp[1];
    
22.     if (exists $file1{$key}) {
    
23.         foreach my $line (@{$file1{$key}}) {
    
24.             next if not ($line->[0] <= $tmp[8]
    
25.                          and $line->[1] >= $tmp[9]);
    
26.             my @str = ($key,@{$file1{$key}},@tmp[0,2..$#tmp],"\n");
    
27.             print $out "@str";
    
28.         }
    
29.     }else {
    
30.         next;
    
31.     }
    
32. }
    
33. 
    
34. close $fh2;
    
35. close $out;

复制代码

kidaaaa

后面使用哈希的几种算法，我试用了，可得到的输出非常奇怪，完全不是我要的数据，都是一些好像是内存地址的输出数据。恐怕代码本身有些问题，请楼上仔细检查过它们的输出结果再看看吧。

关于这个问题，我最后使用了拆分策略，先按照文件1第一列和文件2第二列的内容把两个文件分别拆分成许多小块，相同内容的放入同一目录，然后再在各个目录下执行两个文件的循环比对，只用控制文件1第二列第三列与文件2第九列第十列的相互关系。
按照以上思路，运算耗时减少近两千倍。

fly_in_thesky

回复 10# wxlfh


    你的这个程序很怪异的不报错，但是又无输出，不知道是怎么回事啊！

wxlfh

fly_in_thesky 发表于 2012-11-18 19:39
回复 10# wxlfh

我 21 楼的那个你看看行不行？

fly_in_thesky

回复 24# wxlfh


    我试过了！无报错无输出！！不知什么原因！！

zhlong8

穿越了吧，2010年的帖子