对文件（列表）的查询及效率问题，请各位讨论下（暂时解决）

gaochong

1.pl:

#!/usr/bin/perl -w

use strict;
use POSIX qw(strftime);

my $t1=strftime "%Y%m%d%H%H%S",localtime;
my $date=strftime "%Y%m%d",localtime;
my $log="/log${date}0000.dat";
chomp (my $ok=`/bin/grep 'Login OK' $log | wc -l`);
my $incorrect=`/bin/grep 'Login incorrect' $log | wc -l`;
open FILE,"> /log/radius_tongji.log" or die "$!";
print FILE $date . "\t" . $ok . "\t" . $incorrect;
close FILE;
my $t2=strftime "%Y%m%d%H%H%S",localtime;
print $t2-$t1 . "\n";



2.pl:
#!/usr/bin/perl -w

use strict;
use POSIX qw(strftime);

my ($ok,$incorrect);
my $t1=strftime "%Y%m%d%H%H%S",localtime;
my $date=strftime "%Y%m%d",localtime;
my $log="/log${date}0000.dat";
open FILE,"< $log" or die "$!";
while (<FILE>)
{
        $ok++ if /Login OK/i;
        $incorrect++ if /Login incorrect/i;
}
close FILE;
open FILE2,">> /log/radius_tongji.log" or die "$!";
print FILE2 $date . "\t" . $ok . "\t" . $incorrect . "\n";
close FILE2;
my $t2=strftime "%Y%m%d%H%H%S",localtime;
print $t2-$t1 . "\n";


运行1.pl花了13秒，运行2.pl花了22秒。
但感觉1.pl嵌套了shell效率不是很高，而2.pl是纯的perl语句，但效率不如1.pl.

请教各位，选择哪个呢？还有其他更好的办法吗？

[ 本帖最后由 gaochong 于 2009-6-16 16:49 编辑 ]

MMMIX

原帖由 gaochong 于 2009-6-15 19:27 发表
while (<FILE>)
{
        $ok++ if /Login OK/i;
        $incorrect++ if /Login incorrect/i;
}

但感觉1.pl嵌套了shell效率不是很高，而2.pl是纯的perl语句，但效率不如1.pl.

把  if /.../i 中的 i 去掉再比较下。

gaochong

去掉 //i 中的i,效率是高了，但相比1.pl还是慢了1秒。 谢谢！

日志文件一般在500M到5G之间，我该选1.pl还是2.pl呢？或者有其他更好的code吗？

MMMIX

原帖由 gaochong 于 2009-6-15 21:10 发表
日志文件一般在500M到5G之间，我该选1.pl还是2.pl呢？

选 2，移植性要比 1 好很多。

cobrawgl

原帖由 gaochong 于 2009-6-15 21:10 发表
去掉 //i 中的i,效率是高了，但相比1.pl还是慢了1秒。 谢谢！

日志文件一般在500M到5G之间，我该选1.pl还是2.pl呢？或者有其他更好的code吗？

你再加个  next 试试

yecheng_110

调用shell命令是有一些开销
不过grep可是相当快

yecheng_110

原帖由 cobrawgl 于 2009-6-15 22:04 发表



你再加个  next 试试

赞同 如果一行不可能同时有Login incorrect和Login OK
那么LZ做了多余的比较

gaochong

我试了一个846M的文件，跑1.pl花了29秒，跑2.pl花了30秒，而且2.pl的负载相对更高。不知道3G\4G的文件会怎样，明天试试看。

但遇到一个问题：怎么会跑出下边的结果呢？应该是$t2>$t1才对。怎么是这样了呢？

-bash-3.00$ ./2.pl
20090615222242
20090615222212
-30

gaochong

原帖由 yecheng_110 于 2009-6-15 22:19 发表

赞同 如果一行不可能同时有Login incorrect和Login OK
那么LZ做了多余的比较

日志文件中，一行不可能同时又OK和incorrect。但我是要统计OK和incorrect的行数，所以不是多余的比较。

为什么要加next ？？？没明白2位的意思。

MMMIX

原帖由 gaochong 于 2009-6-15 22:42 发表


日志文件中，一行不可能同时又OK和incorrect。但我是要统计OK和incorrect的行数，所以不是多余的比较。

为什么要加next ？？？没明白2位的意思。

写成

1. 
   
2. while (<FILE>)
   
3. {
   
4.         if (/Login Ok/) {
   
5.             $ok++;
   
6.             next;
   
7.         }
   
8.         $incorrect++ if /Login incorrect/i;
   
9. }
   

复制代码

这下明白了吧？