perl对大文件的处理效率问题

鸿钧

看到这样一个文章：
C/C++/Perl/汇编/Java效率比较
http://blog.csdn.net/jia_xiaoxin/archive/2008/10/02/3009173.aspx

从指定文本文件中搜索指定字符串，计算个数。并且打印出搜索到的个数作为结果输出。准备了一个多达2G的文本文件，总共有文本1500万行多。
#!/usr/bin/perl
$filename="d:\access.log_";
$count = 0;
open(FILE , "<$filename");
while(<FILE>)
{
@match_list = ($_ =~ /HIT/g);
$count=$count+@match_list;
}
close(FILE);
print "Count = $count ";
exit
作者测试，使用PERL5.8解释器，用了8分18秒08完成了1500万行文本的扫描，并得出了正确的结果。

虽然我用perl比较少，但效率不至于这么低吧。这个程序如何优化呢

黑色阳光_cu

这白痴用了最低效的写法，纯一perl黑

toniz

哪个白痴作者?

nb509

高手给个高效的代码啊！！

黑色阳光_cu

1. #!/bin/env perl
   
2. 
   
3. use strict;
   
4. use warnings;
   
5. 
   
6. my $filename = "D:/access.log_";
   
7. my $count = 0;
   
8. open(FILE, "<:raw", $filename) or die $^E;
   
9. local $_;
   
10. while (my $line = <FILE>)
    
11. {
    
12.         $_ = -1;
    
13.         $count++ while (($_ = index($line, "HIT", $_ + 1)) != -1);
    
14. }
    
15. 
    
16. close FILE;
    
17. 
    
18. print "Count = ", $count, "\n";
    
19. exit(0);
    

复制代码

要更快可以用 sysread

午夜凋零

回复 5# 黑色阳光_cu


    第13行：

$count++ while (($_ = index($line, "HIT", $_ + 1)) != -1);

如果 HIT 出现在开头呢？那么index返回的是0，count就不会自加了。

午夜凋零

回复 5# 黑色阳光_cu


    上面那句代码我理解错了，你是对的，抱歉。。。

nb509

是不是index比m//g快啊？

toniz

  NO   慢得这么夸张肯定是碰到内存瓶颈

phoenix_perl

是不是index比m//g快啊？
nb509 发表于 2010-12-22 16:12

我记得正则表达式要比index之类的慢一点点.小数据量看不出来,如果很大就看出来了.