Perl 使用 Archive::Tar读取 1G 的 Log文件 out of memory

hu_zhuang163

Perl 使用 Archive::Tar读取 1G 的 Log文件  out of memory
系统环境：  win7  使用的是activePerl 5.16.2

代码如下：

1.        
   
2.       
   
3.      my $logFile   = "E:\\a\\";
   
4.              my @zipFiles = glob $logFile . "log_*.tar.gz"or die "can't find/read tar.gz $logFile ";
   
5.         foreach (@zipFiles) {
   
6.                 my $fileList = $_;
   
7.                                 my $tar = Archive::Tar->new;
   
8.                                 $tar->read($fileList);
   
9.                                 my @files = $tar->list_files;
   
10.                                 foreach my $logName (@files) {
    
11.                                         if ( $logName =~ m/tanx_*/ ) {
    
12.                                                 $tar->extract_file( $logName, "tanxTemp.out" );
    
13.        
    
14.                                                 open( DATA, "<", "tanxTemp.out" ) || die "cannot open the file: $!\n";
    
15.                                                 while ( my $line = <DATA> ) {
    
16.                                                         my @lineAry  = split /,/, $line;
    
17.                                                         my $ip = $lineAry[8];
    
18.                                                          $tanxIPHash{$ip}="1";
    
19. 
    
20.                                                 }
    
21.                                                 close(DATA);
    
22.                                         }
    
23.                                        
    
24.                                 }
    
25.                 }
    
26. 
    
27. 
    

复制代码

我大致知道原因   按照模块说明， 使用Archive::Tar这个模块 read 方法 是把所有的内容都读取到内存中在处理 ， 可能就是这个导致的

然后我使用这样

1.        
   
2. my $next = Archive::Tar->iter( "example.tar.gz", 1, {filter => qr/\.pm$/} );
   
3. 
   
4.     while( my $f = $next->() ) {
   
5.         print $f->name, "\n";
   
6. 
   
7.         $f->extract or warn "Extraction failed";
   
8. 
   
9.         # ....
   
10.     }
    

复制代码

好像还是不行 ，哪位高手有处理大文件的经验的 ，求链接

只是一个红薯

用while试试？

hu_zhuang163

看了模块说明

然后我使用了
    while( my $f = $next->() ) {
        print $f->name, "\n";

        $f->extract or warn "Extraction failed";

        # ....
    }

好像还是不行

回复 2# 只是一个红薯


   

只是一个红薯

  foreach (@zipFiles) =>while(..)是改成这个不行吗

hu_zhuang163 发表于 2013-07-25 16:57
看了模块说明

然后我使用了