对文件（列表）的查询及效率问题，请各位讨论下（暂时解决）

gaochong

哎呀，晕了。非常明白了，谢谢2位！


但实际跑了一下，加和不加，都跑了30秒。从代码上分析，应该是加next会节省时间但结果却没有。

MMMIX

原帖由 gaochong 于 2009-6-15 23:32 发表
哎呀，晕了。非常明白了，谢谢2位！


但实际跑了一下，加和不加，都跑了30秒。从代码上分析，应该是加next会节省时间但结果却没有。

next 实际能不能节省时间和你输入的数据有关，如果每次 if (/Login OK/) 都失败的话，加 next 和不加 next 效率不会有什么差别；但如果在大多数情况下 if (/Login OK/) 都成功，加上 next 应该能快不少。

gaochong

谢谢了！

成功和失败的数量：20090527        293163  3319309

Login incorrect匹配的多，但效率还是一样，也是用了30秒。

while (<FILE>)
{
        if (/Login incorrect/) {
                $incorrect++;
                next;
        }
        $ok++ if /Login OK/;
}

yashiro_lj

如果只有Login incorrect和Login OK两种可能性，那么可以这样写，看看速度是否有提高 ：）

1. while (<FILE>)
   
2. {
   
3.         if (/Login incorrect/) {
   
4.                 $incorrect++;
   
5.                 next;
   
6.         }
   
7.         $ok++;
   
8. }

复制代码

gaochong

谢谢，但不是只有这2个可能。

我的日志格式如下：
Thu Jan 15 10:02:10 2009 : Auth: Login incorrect: [ac/d] (from client)
Thu Jan 15 10:02:12 2009 : Error: Username [ac] Reject Message
Thu Jan 15 10:02:12 2009 : Auth: Login incorrect: [ac/b] (from client)
Thu Jan 15 10:02:15 2009 : Auth: Login OK: [ab/c] (from client)

yashiro_lj

楼主看看日志格式，能否只匹配incorrect和OK，少匹配几个字母在理论上来说应该会快些

gaochong

为了寻求可能更高的效率，我想到了grep,写了3.pl如下：

#!/usr/bin/perl -w

use strict;
use POSIX qw(strftime);

my $t1=strftime "%Y%m%d%H%H%S",localtime;
print "$t1\n";
#my $date=strftime "%Y%m%d",localtime;
my $date=20090527;
my $log="/logs/log${date}0000.dat";
open FILE,"< $log" or die "$!";
my @list=grep /Login OK/,<FILE>;
close FILE;
open FILE_t,"< $log" or die "$!";
my @list2=grep /Login incorrect/,<FILE_t>;
close FILE_t;
open FILE2,">> /export/home/gaochong/radius_tongji.log" or die "$!";
print FILE2 $date . "\t" . scalar @list . "\t" . scalar @list2 . "\n";
close FILE2;
my $t2=strftime "%Y%m%d%H%H%S",localtime;
print "$t2\n";
print $t2-$t1 . "\n";



从程序上分析，I/O次数多了一次，效率可能会更低。
但我运行./3.pl ,却好像僵死一样，跑了1分钟还没有结果。

是因为I/0的问题吗？

yashiro_lj

这个感觉有点奇怪，按照理论上来说，绝大部分login都是失败的，那么第一个if判断完之后就next到下次循环了，理论上来说这种写法的速度肯定要比$ok++ if /Login OK/放在前面要快的，但楼主实际跑的结果却是一样的。哪位大侠能否解释一下？

yashiro_lj

你这样写就等于循环了2次（一次用于检查incorrect，一次用于检查OK），效率上估计还比不上只while循环一次呢。

1. my @list=grep /Login OK/,<FILE>;

复制代码

这样写会把整个<FILE>当做一个列表一次性都读入内存的，如果文件过大，肯定就卡住了

gaochong

是的。

我用如下代码，却跑了38秒！！！比原来的30秒效率更低了。
while (<FILE>)
{
        if (/\bincorrect\b/) {
                $incorrect++;
                next;
        }
        $ok++ if /\bOK\b/;
}

去掉锚点，花了29秒，和之前的code效率基本持平。但去掉锚点可能会有偏差，比如有 abOKc.

自己的结论：锚点降低了查询效率。  请各位指正。