新手在线等：请教 打开管道 读取200M 文件 出现 out of memory

hu_zhuang163

1. 
   
2. #==========================
   
3. #函数名：getTanxImprLogResultByDate
   
4. #功　能：计算指定日期所有的  Tanx  的 Impr 数据
   
5. #参　数：  $obtaintime：需要计算的日期，格式为yyyymmdd
   
6. #返回值：
   
7. sub getTanxImprLogResultByDate {
   
8.         my ($date,$logFile) = @_;
   
9.         #找出 时间段内的zip 文件
   
10.         say( "---------------------------------impr操作  start-------");
    
11.         my @zipFiles = glob $logFile . "log_".$date.".tar.gz" or die "can't find/read tar.gz $logFile ";
    
12.         foreach (@zipFiles) {
    
13.                 my $fileList   = $_;
    
14.                 my $startIndex = rindex( $fileList, "log_" );
    
15.                 my $zipDate    = substr $fileList, $startIndex + 4, 8;
    
16. 
    
17.                 if ( $zipDate =$date) {
    
18.                                 say( "---impr操作   找到日期".$date."-------");
    
19.                                 my $next = Archive::Tar->iter($fileList, 1, {filter => qr(^impr*)} );
    
20.                                          while( my $f = $next->() ) {
    
21.                                                   my $logName=$f->name;
    
22.                                                    say $logName;
    
23.                                                  if($logName =~ m/impr_*/){
    
24.                                                           $f->extract or warn "Extraction failed";
    
25.                                                
    
26.                                                         open( DATA, "<", $logName )  || die "cannot open the file: $!\n";
    
27.                                                         while ( my $line = <DATA> ) {
    
28.                                                                 my @lineAry = split /,/, $line;
    
29.                                                                 my $unId=$lineAry[0];
    
30.                                                        
    
31.                                                                         if (exists($todayClickHash{$unId} ) ) {
    
32.                                                                                 $todayClickHash{$unId} = "1,".$todayClickHash{$unId};
    
33.                                                                         }
    
34.        
    
35.                                                         }
    
36.                                                         close(DATA);
    
37.                                                         unlink $logName;
    
38.                                                  }
    
39.                                         
    
40.                                  }
    
41.                 }
    
42.         }
    
43.         say( "---impr操作   end-------");
    
44. }

复制代码

现在错误信息是 对 某一个2G文件内的 小时日志  impr_2013060320.log  大小250M
出现  Out of memory!



菜鸟请教