请教高手：如何快速读取和查找数据

MicoCN

1. PTR:2707|1|3|15|P||wafer number <> deep_sleep||LH
   
2. PTR:2710|1|3|118|P||wafer x <> deep_sleep
   
3. PTR:2711|1|3|22|P||wafer y <> deep_sleep
   
4. EPS:
   
5. BPS:krakatoa_serialise
   
6. PTR:2970|1|3|1|P||company eui ok <> serialise4||LH
   
7. DTR:<cmd> partid = 000d6f00017adfda
   
8. PTR:2960|1|3|510|P||val_1fe <> serialise4
   
9. PTR:2961|1|3|3|P||Regulator Trim <> serialise4
   
10. PTR:2951|1|3|16|P||Prescaler offset <> serialise4
    
11. PTR:2950|1|3|7|P||Prescaler row <> serialise4
    
12. PTR:2952|1|3|65|P||test program rev <> serialise4
    
13. PTR:2953|1|3|1|P||Checksum ok <> serialise4
    
14. PTR:2954|1|3|42330|P||Status REG 7f5e <> serialise4
    
15. PTR:2955|1|3|1|P||EEPROM delete trials <> serialise4
    
16. PTR:2962|1|3|6294|P||Masterbias setting <> serialise4
    
17. PTR:2980|1|3|1.73703|P||Trim 1v7 from flash <> serialise4
    
18. PTR:2981|1|3|1.14621|P||masterbias from flash <> serialise4
    
19. EPS:
    
20. PRR:1|3|12|750|P|1|1|||||5634
    
21. PIR:1|1
    
22. GDR:TIMAGE_PART_ID|L218103808
    
23. BPS:em250_cont
    
24. PTR:1|1|1|250|P||Board ID <> board_id||LH
    
25. PTR:2|1|1|4003|P||Serial number <> board_id||L
    
26. PTR:1000|1|1|-0.465872|P||OPEN_OSC32B <> cont_em250|||v|-1|-0.3|%6.3f v|%6.3f v|
    
27. %6.3f v|||0|0|0
    
28. PTR:1001|1|1|-0.463935|P||OPEN_VREG_OUT <> cont_em250|||v|-1|-0.3|%6.3f v|
    
29. %6.3f v|%6.3f v|||0|0|0
    
30. PTR:1002|1|1|-0.465399|P||OPEN_GPIO_12 <> cont_em250|||v|-1|-0.3|%6.3f v|
    
31. %6.3f v|%6.3f v|||0|0|0

复制代码

一段像上面这样的数据，每个文件400M左右，我想把下面几行读出来，这只是每一颗测试产品的结果，总共的400M文件中有10000组这样的数据。

问题1：我当前是用的循环去读取每一行，然后进行判断抓取需要的信息，是否有其他更快速的方法例如shell中的grep那样抓到需要的信息，如果有，如何抓取多行信息。

问题2：我当前把抓到的信息存在一个单独的A.txt文件中，然后再把每个读取到的信息和文件中的进行比较（同样也是用循环每行比较），如果相同则进行标注，但当我执行的文件数量比较多的时候，那个A.txt会变得很大，然后速度就会很慢，是否有更快速的方法，最好不是访问数据库的，是否有不用每行循环去进行查找比较的。

1. PTR:2707|1|3|15|P||wafer number <> deep_sleep||LH
   
2. PTR:2710|1|3|118|P||wafer x <> deep_sleep
   
3. PTR:2711|1|3|22|P||wafer y <> deep_sleep
   
4. DTR:<cmd> partid = 000d6f00017adfda
   
5. PRR:1|3|12|750|P|1|1|||||5634

复制代码

zhlong8

你先写个能跑的，如果真的有效率问题大家再帮你优化啊

jason680

请贴code

MicoCN

1. #! /usr/bin/perl -w
   
2. #use strict;                                                
   
3. #use warnings;   
   
4. my $curLine;
   
5. my ($preEUItest,$EUItest,$EUIbinning);
   
6. my (@preEUItests,@EUItests,@EUIbinnings,@preTemps);
   
7. my ($testNumber,$EUIcounter,$EUInumber,$testResult);
   
8. my @libEUI;
   
9. my ($flagNewEUI,$tempEUI);
   
10. my ($hardware,$LBid);
    
11. my @hardwares;
    
12. my @waferInfor;
    
13. my ($waferID,$waferX,$waferY);
    
14. 
    
15. print "The original file name is:",$ARGV[0],".bak and converted file name is:$ARGV[0]\n";
    
16. print "------------------------------------------------------------------------------\n";
    
17. 
    
18. ##-DeviceID- -Site- -TResult- -TNumber- -Used_EmberPD_EUI_ID- -EUI_Serio- -HBin- -SBin-
    
19. ##    00001      0      PASS      2970    000d6f00012e95f9      000001      6     34
    
20. 
    
21. my $allEUIdata=$ARGV[0]."_allEUIXYdata.log";
    
22. my $passEUIdata=$ARGV[0]."_passEUIXYdata.log";
    
23. my $databaseEmberEUI="databaseEmberEUI_dieID.log";
    
24. my @databaseEUI;
    
25. my ($databaseCounter,$curdatabaseCounter,$flagdatabase,$databaseStr);
    
26. my $fileNameSTDF=$ARGV[0];
    
27. $waferID="NA";
    
28. $waferX="NA";
    
29. $waferY="NA";
    
30. open ALLEUIDATA,">$allEUIdata" or die "write file $allEUIdata failed $!";
    
31. open PASSEUIDATA,">$passEUIdata" or die "write file $passEUIdata failed $!";
    
32. open DATABASEEUI,"$databaseEmberEUI";
    
33. @databaseEUI=<DATABASEEUI>;
    
34. close DATABASEEUI;
    
35. open DATABASEEUI,">>$databaseEmberEUI" or die "write file $databaseEmberEUI failed $!";
    
36. printf PASSEUIDATA ("%10s %6s %9s %9s %21s %11s %6s %6s %10s %12s %9s %8s %8s %s\n","-DeviceID-","-Site-","-TResult-","-TNumber-","-Used_EmberPD_EUI_ID-","-EUI_Serio-","-HBin-","-SBin-","-LBoardID-","-FreshEUIID-","-WaferID-","-WaferX-","-WaferY-","-DataBaseStr-");
    
37. while(<>){
    
38.         chomp;
    
39.         $curLine=$_;
    
40.         if(/^PIR:/){
    
41.                 print ALLEUIDATA $curLine,"\n";
    
42.         }
    
43.         elsif(/^SDR:/){
    
44.                 $hardware=$curLine;
    
45.                 @hardwares=split(/\|/,$hardware);
    
46.                 @hardwares[10]=~s/\W+//;
    
47.                 @hardwares[10]=~s/\r//;
    
48.                 $LBid=@hardwares[10];
    
49.         }
    
50.         elsif(/^PTR:(.*)wafer number/){
    
51.                 @waferInfor=split(/\|/,$curLine);
    
52.                 $waferID=@waferInfor[3];
    
53.         }
    
54. 
    
55.         elsif(/^PTR:(.*)wafer x/){
    
56.                 @waferInfor=split(/\|/,$curLine);
    
57.                 $waferX=@waferInfor[3];
    
58.         }
    
59.         elsif(/^PTR:(.*)wafer y/){               
    
60.                 @waferInfor=split(/\|/,$curLine);
    
61.                 $waferY=@waferInfor[3];
    
62.         }
    
63.         elsif(/^PTR:(.*)company eui ok/){
    
64.                 $preEUItest=$curLine;
    
65.                 print ALLEUIDATA $curLine,"\n";               
    
66.                
    
67. #                print ALLEUIDATA $curLine,"\n";               
    
68.         }
    
69.         elsif(/^DTR:\<cmd\>/){
    
70.                 if($preEUItest ne ""){
    
71.                         $EUItest=$curLine;
    
72.                 }
    
73.                 else{
    
74.                         $preEUItest="AbnormalData";
    
75.                         $EUItest=$curLine;
    
76.                 }
    
77.                 print ALLEUIDATA $curLine,"\n";               
    
78.         }
    
79.         elsif(/^PRR:/){
    
80.                
    
81.                 ##Device:        -DeviceID- -Site- -TResult- -TNumber- -Used_Ember_EUI_ID- -EUI_Serio- -HBin- -SBin-
    
82.                 ##device#     00001      0      PASS      2970    000d6f00012e95f9      000001      6     34
    
83.                
    
84.                 $EUIbinning=$curLine;
    
85.                 if($EUItest ne "" && $preEUItest ne "AbnormalData"){
    
86.                         @preEUItests=split(/\|/,$preEUItest);
    
87.                         @EUItests=split(/=/,$EUItest);
    
88.                         @EUIbinnings=split(/\|/,$EUIbinning);
    
89.                         @preTemps=split(/:/,@preEUItests[0]);
    
90.                         $testNumber=@preTemps[1];
    
91.                         $flagNewEUI=1;
    
92.                         @EUItests[1]=~s/\W+//;
    
93.                         @EUItests[1]=~s/\r//;
    
94.                         foreach $tempEUI(@libEUI){
    
95.                                 if(@EUItests[1] eq $tempEUI){
    
96.                                         $flagNewEUI=0;
    
97.                                 }
    
98.                         }
    
99. 
    
100.                         if($flagNewEUI eq 1 && @EUItests[1]=~/000d6f00/){
     
101.                                 $flagNewEUI=0;
     
102.                                 $EUIcounter++;
     
103.                                 $EUInumber=$EUIcounter;
     
104.                                 push(@libEUI,@EUItests[1]);
     
105.                         }
     
106.                         else{
     
107.                                 $EUInumber=0;
     
108.                         }
     
109.                         if(@EUIbinnings[4] eq "P"){
     
110.                                 $testResult="PASS";
     
111.                         }
     
112.                         elsif(@EUIbinnings[4] eq "F"){
     
113.                                 $testResult="FAIL";
     
114.                         }
     
115.                         else{
     
116.                                 $testResult="ERROR";
     
117.                         }
     
118.                        
     
119.                         $curdatabaseCounter=0;
     
120.                         $databaseCounter=0;
     
121.                         $flagdatabase=1;
     
122.                         $databaseStr="NEW_ID\n";
     
123.                         foreach $tempEUI(@databaseEUI){
     
124.                                 if ($tempEUI=~/^@EUItests[1]/){
     
125.                                         $flagdatabase=0;
     
126.                                         $curdatabaseCounter=$databaseCounter+1;
     
127.                                         $databaseStr="RepeatID|---".$tempEUI;
     
128.                                 }
     
129.                                 else{
     
130.                                         $databaseCounter++;
     
131.                                 }
     
132.                         }
     
133.                         if($flagdatabase eq 1 && @EUItests[1]=~/000d6f00/){
     
134.                                 $curdatabaseCounter=scalar(@databaseEUI)+1;
     
135.                                 $databaseStr=@EUItests[1]."_HB".@EUIbinnings[5]"_DBid:".$curdatabaseCounter."_SB".@EUIbinnings[6]."_LB:".$LBid."_waferID:".$waferID."_waferX:".$waferX."_waferY:".$waferY."_".$fileNameSTDF."\n";
     
136.                                 push(@databaseEUI,$databaseStr);
     
137.                                 printf DATABASEEUI ("%s",$databaseStr);
     
138.                                 $databaseStr="NEW_ID\n";
     
139.                         }
     
140.                         if(!(@EUItests[1]=~/000d6f00/)){
     
141.                                 $databaseStr="INVALID_ID\n";
     
142.                         }
     
143. 
     
144.                         printf PASSEUIDATA ("%09s  %5s  %8s  %8s  %20s  %010s  %5s  %5s  %9s  %11s  %8s  %7s  %7s  %s",@EUIbinnings[2],@EUIbinnings[1],$testResult,$testNumber,@EUItests[1],$EUInumber,@EUIbinnings[5],@EUIbinnings[6],$LBid,$curdatabaseCounter,$waferID,$waferX,$waferY,$databaseStr);
     
145.                         $waferID="NA";
     
146.                         $waferX="NA";
     
147.                         $waferY="NA";
     
148.                         $preEUItest="";
     
149.                         $EUItest="";
     
150.                         $EUIbinning="";
     
151.                 }
     
152.                
     
153.                 elsif($EUItest ne "" && $preEUItest ne "AbnormalData"){
     
154.                         @EUItests=split(/=/,$EUItest);
     
155.                         @EUIbinnings=split(/\|/,$EUIbinning);
     
156.                         $flagNewEUI=0;
     
157.                         @EUItests[1]=~s/\W+//;
     
158.                         @EUItests[1]=~s/\r//;
     
159.                         foreach $tempEUI(@libEUI){
     
160.                                 if(@EUIbinnings[4] eq "P" && @EUItests[1] eq $tempEUI){
     
161.                                         $flagNewEUI=1;
     
162.                                 }
     
163.                         }
     
164.                         if($flagNewEUI eq 1){
     
165.                                 $flagNewEUI=0;
     
166.                                 $EUIcounter++;
     
167.                                 $EUInumber=$EUIcounter;
     
168.                                 push(@libEUI,@EUItests[1]);
     
169.                         }
     
170.                         else{
     
171.                                 $EUInumber=0;
     
172.                         }
     
173.                         if(@EUIbinnings[4] eq "P"){
     
174.                                 $testResult="PASS";
     
175.                         }
     
176.                         elsif(@EUIbinnings[4] eq "F"){
     
177.                                 $testResult="FAIL";
     
178.                         }
     
179.                         else{
     
180.                                 $testResult="ERROR";
     
181.                         }
     
182.                         printf PASSEUIDATA ("%9s  %5s  %8s  %8s  %20s  %10s  %5s  %5s\n",@EUIbinnings[2],@EUIbinnings[1],$testResult,"NON",@EUItests[1],$EUIcounter,@EUIbinnings[5],@EUIbinnings[6]);
     
183.                         $preEUItest="";
     
184.                         $EUItest="";       
     
185.                         $EUIbinning="";               
     
186.                 }
     
187.                 else{
     
188.                        
     
189.                 }
     
190.                        
     
191.                        
     
192.                
     
193.                
     
194.                
     
195.                 print ALLEUIDATA $curLine,"\n";               
     
196.         }
     
197.         else{       
     
198.         }
     
199. }       
     
200. 
     
201. #print DATABASEEUI @databaseEUI;
     
202. close ALLEUIDATA;
     
203. close PASSEUIDATA;
     
204. close DATABASEEUI;
     

复制代码

MicoCN

写了，有点长，刚开始还很快，处理的文件多了以后就慢了，现在处理一个文件要半小时了。。。

MicoCN

没人愿意帮忙吗？？？

guap514

回复 6# MicoCN


    先把需求写清楚.....