Tie::File处理大文件问题

linewer

近3T的大文件(大概2195822197行),每行一条记录, 想查找符合某条件的行,
在一台Intel(R) Xeon(R) CPU E5-2609 v3 1.90GHz , 64GB内存的服务器上,跑了大半天,最后直接内存溢出了;  最后测试了下grep直接查找，大半天最后出来结果了....
如下程序有啥问题么，或者对于这么大文件用perl处理有啥建议么

1. #!/usr/bin/env perl
   
2. use Tie::File;
   
3. 
   
4. open( $fn, '>', './line-number.log') or die "Could not open file";
   
5. open( $fm, '>', './tie-result.log') or die "Could not open file";
   
6. tie @array, 'Tie::File', './myresult.json' or die "File error\n";
   
7. $min=1464537601000-900;
   
8. $max=1466783999000;
   
9. for ($n=2195822197;$n>=0;$n--)   #只知道大概在文件中下部的样子,具体不知道哪一行,采用从后往前查找匹配
   
10. {
    
11.   my $tmp=$array[$n];
    
12.   if( $tmp =~ /"Time":"(.*?)",.*"time":"2016-0[5-6].*?","SerialNumber":"123456790abcd"/)
    
13.   {
    
14.     if ( $1 >= $min  && $1 <= $max)
    
15.     {
    
16.        print $fn "$n\n";
    
17.        print $fm "$tmp\n";
    
18.     }
    
19.     if( $1 < $min)
    
20.     {
    
21.        last;
    
22.     }
    
23.   }
    
24. }
    
25. 
    
26. close($fn);
    
27. close($fm);

复制代码

104359176

这么大的文件用 Tie:: 模块，这个模块会把文件尽可能的装到内存里。既然是遍历，就用文件句柄，逐行遍历就好了。

不过这么大的文件不放在数据库里，一行一行的找太费时间。不如一次放在数据库里，省的下次麻烦。

或者用多线程语言，把文件分成多个部分，分别去找，会快很多。

linewer

回复 2# 104359176
本来是DB里，因为临时整改调整，以前知道Tie并简单用过，这次想试试处理这么大文件是什么效率,结果大失所望...