对文件（列表）的查询及效率问题，请各位讨论下（暂时解决）

gaochong

原帖由 yashiro_lj 于 2009-6-16 10:48 发表
你这样写就等于循环了2次（一次用于检查incorrect，一次用于检查OK），效率上估计还比不上只while循环一次呢。

my @list=grep /Login OK/,;
这样写会把整个当做一个列表一次性都读入内存的，如果文件过大， ...

my @list=grep /Login OK/,<FILE>;

这个还是太危险了。我想也是我终于的新手最容易犯的错误。

记住了，用while最保险！  foreach 和 以上代码要切忌！！

谢谢！

yashiro_lj

1. use strict;
   
2. use warnings;
   
3. use Benchmark;
   
4. 
   
5. timethese( 1000000, {
   
6.      '1' => q!   
   
7.         my $OK;
   
8.         my $wrong;
   
9.         while(<DATA>) {
   
10.             if(/Login incorrect/) {
    
11.             $wrong++;
    
12.             next;
    
13.         }
    
14.         $OK++ if /Login OK/;
    
15.     }!,
    
16. 
    
17.     '2' => q!
    
18.         my $OK;
    
19.         my $wrong;
    
20.         while(<DATA>) {
    
21.             index($_, 'Login incorrect') > 1 ? $wrong++ : index($_, 'Login OK') > 1 ? $OK++ : {};
    
22.         } !
    
23. });
    
24. __DATA__
    
25. Thu Jan 15 10:02:10 2009 : Auth: Login incorrect: [ac/d] (from client)
    
26. Thu Jan 15 10:02:12 2009 : Error: Username [ac] Reject Message
    
27. Thu Jan 15 10:02:12 2009 : Auth: Login incorrect: [ac/b] (from client)
    
28. Thu Jan 15 10:02:15 2009 : Auth: Login OK: [ab/c] (from client)

复制代码

楼主可以试试这段代码，在我的机器上跑（XP），index的方式比正则还是要快一些的

不好意思，之前DATA的数据有误，统计出来的$wong和$OK不对，现在换成楼主提供的数据

[ 本帖最后由 yashiro_lj 于 2009-6-16 11:14 编辑 ]

gaochong

谢谢！
Benchmark还要再仔细学习一下。


但你这个代码的目的是做什么呢？看起来我有点儿晕。为什么要执行2个WHILE呢？

yashiro_lj

这是Benchmark的timethese，意思就是分别执行这两段代码（正则版本和index版本）1000000次，然后输出一些性能指标，你看看Benchmark就明白了

gaochong

奥，明白了。

你是做正则版本和index版本的比较。

太谢谢了，这个好，比我比较时间更有说服力，我试试看。

MMMIX

原帖由 yashiro_lj 于 2009-6-16 11:09 发表
use strict;
use warnings;
use Benchmark;

楼主可以试试这段代码，在我的机器上跑（XP），index的方式比正则还是要快一些的

你这样每次都从 DATA 读数据，那么只有第一次循环能读到数据，其他的循环根本就读不到数据。

gaochong

我想也是这样的，因为第一次循环已经到了最末了。但执行结果好像不是这样

执行结果如下：
-bash-3.00$ ./4.pl
Benchmark: timing 1000000 iterations of 1, 2...
         1:  9 wallclock secs ( 6.09 usr +  3.04 sys =  9.13 CPU) @ 109529.03/s (n=1000000)
Useless use of single ref constructor in void context at (eval 6) line 5, <DATA> line 43.
         2:  9 wallclock secs ( 6.11 usr +  3.04 sys =  9.15 CPU) @ 109289.62/s (n=1000000)


<DATA> line 43 是最后一行，不知道如何修复这个告警。

另外，109529.03/s 这是运算能力吗？如果是运算能力，那正则还是更优的。而且负载相对也低。

yashiro_lj

原帖由 MMMIX 于 2009-6-16 12:27 发表

你这样每次都从 DATA 读数据，那么只有第一次循环能读到数据，其他的循环根本就读不到数据。

检查了一下，确实如此！查阅了Benchmark的timethese等一些说明，没有找到相关的介绍，请教MMMIX是怎么发现这个问题的？

gaochong

你是怎样“确实如此”的呢？我无法验证。


但我想，第一次循环后，就到了最末了，下次循环时就马上结束了。

yashiro_lj

在while循环中加print $_, "\n";，可以看到，只打印了一次DATA中所有行，而不是循环的打印，说明只通读了一次DATA，下次循环没有从头开始读DATA

你说的对，第一次循环之后确实是到最末了，我以为timethese会恢复DATA的初始状态，从新再开始一轮读数据，看来不经验证的想当然靠不住啊

我比较好奇的是MMMIX怎么知道会有这个问题的？望赐教