[急]如何提高文件匹配效率,效率太低了。。。。

alfred1980

存在一个需要比对的文件，里面有若干个字段，需要在各个目录下的一批文件中找到与之匹配的文件，我用了一下方法：
...
...
...
chdir "$DIR_PP1_ELSE" or die "cannot chdir to $DIR_PP1_ELSE:$!";
my @pp1_else=();
opendir(DIR_TMP,$DIR_PP1_ELSE) or die "error in opening dir $DIR_PP1_ELSE\n";
@pp1_else=grep(/^\d\d\d\d\.0314.*/,readdir DIR_TMP);
closedir DIR_TMP;
...
...
open(FILE,$DF_LIST) or die "can not open file111,please check.($!)";
while(<FILE>)
{
#对方独有话单按条入数组，以待匹配
my @list_df=split /;/, $_;
chdir "$DIR_PP1_ELSE" or die "cannot chdir to $DIR_PP1_ELSE:$!";
my @pp1_else_tmp=@pp1_else;
foreach (@pp1_else_tmp){  #遍历文件
my $filename=$_;
open(MYFILE,$_) or die "can not open file222,please check.($!)";
while(<MYFILE>)           #某个文件遍历记录
{
        my @list_pp1_else=split /,/, $_;
            if($list_pp1_else[9]=~$list_df[0] && $list_pp1_else[11]=~$list_df[1])
           {
            do something;        
        }
}
close(MYFILE);
}   #pp1 else匹配结束

}  #end while 对方独有话单轮询匹配结束
close(FILE);


发现效率特别底，文件大概在1.5w个左右。
那位大虾做个类似的开发，能指点一下吗，谢谢。

zhlong8

换个思路吧，每一条都要扫描所有文件效率怎么可能高。

afukada

如果你真的要這麼做

那一次讀檔可能會快一點

比方說

1. chdir "$DIR_PP1_ELSE" or die "cannot chdir to $DIR_PP1_ELSE:$!";
   
2. my @pp1_else=();
   
3. opendir(DIR_TMP,$DIR_PP1_ELSE) or die "error in opening dir $DIR_PP1_ELSE\n";
   
4. @pp1_else=grep(/^\d\d\d\d\.0314.*/,readdir DIR_TMP);
   
5. closedir DIR_TMP;
   
6. ...
   
7. ...
   
8. open(FILE,$DF_LIST) or die "can not open file111,please check.($!)";
   
9. while(<FILE>)
   
10. {
    
11.         my @list_df=split /;/, $_;
    
12.         chdir "$DIR_PP1_ELSE" or die "cannot chdir to $DIR_PP1_ELSE:$!";
    
13.         my @pp1_else_tmp=@pp1_else;
    
14.        
    
15.         foreach(@pp1_else_tmp)
    
16.         {
    
17.                 local $/;
    
18.                 my $filename=$_;
    
19.                 open(MYFILE,$_) or die "can not open file222,please check.($!)";
    
20.                 $data=<MYFILE>;
    
21.                 while($data=~/$list_df[0],.*?,$list_df[1]/g)
    
22.                 {
    
23.                         do something;
    
24.                 }
    
25.                 close(MYFILE);
    
26.         }
    
27. }
    
28. close(FILE);

复制代码

不過為什麼不先將所有的比對資料讀進來再做比對呢?

比方說

1. ...
   
2. ...
   
3. ...
   
4. chdir "$DIR_PP1_ELSE" or die "cannot chdir to $DIR_PP1_ELSE:$!";
   
5. my @pp1_else=();
   
6. opendir(DIR_TMP,$DIR_PP1_ELSE) or die "error in opening dir $DIR_PP1_ELSE\n";
   
7. @pp1_else=grep(/^\d\d\d\d\.0314.*/,readdir DIR_TMP);
   
8. closedir DIR_TMP;
   
9. foreach (@pp1_else_tmp)
   
10. {
    
11.         my $filename=$_;
    
12.         open(MYFILE,$_) or die "can not open file222,please check.($!)";
    
13.         while(<MYFILE>)
    
14.         {
    
15.                 my @list_pp1_else=split /,/, $_;
    
16.                 push(@{$compare_file{$list_pp1_else[9].":".$list_pp1_else[11]}},$filename);
    
17.         }
    
18.         close(MYFILE);
    
19. }
    
20. ...
    
21. ...
    
22. open(FILE,$DF_LIST) or die "can not open file111,please check.($!)";
    
23. while(<FILE>)
    
24. {
    
25.         my @list_df=split /;/, $_;
    
26.         if($compare_file{$list_df[0].":".$list_df[1]})
    
27.         {
    
28.                 chdir "$DIR_PP1_ELSE" or die "cannot chdir to $DIR_PP1_ELSE:$!";
    
29.                 foreach(@{$compare_file{$list_df[0].":".$list_df[1]}})
    
30.                 {
    
31.                         do something;
    
32.                 }
    
33.         }
    
34. }
    
35. close(FILE);

复制代码