perl脚本占用资源比较大，怎么找原因呢？

chenryn

一个日志分析的perl脚本，主要就是提取日志中的url地址，去除重复后存储记录进另一个文件里。感觉不复杂的过程，但执行起来经常占用掉80%以上的CPU。
初学perl，请教各位，有没有什么排查思路呢？

黑色阳光_cu

正则写得垃圾？

Osment

读取文件是否太“贪婪” ?
是否大量全局变量？
是否优化流程？
是否频繁打开句柄？

chenryn

正则写得垃圾？
黑色阳光_cu 发表于 2010-05-06 17:34

    这个影响大么？

日志举例如下：
1273144492.670      9 121.14.225.183 TCP_IMS_HIT/304 236 GET http://www.ggv.com.cn/downfiles/20070815_135941_1.rar - NONE/- text/plain "http://down.ggv.com.cn/down/cnt_n_down.php?id=698400&flag=1" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)"
脚本里相关部分是：
my $log_pattern   = qr '^.*?\d+\s+\w+\s+(http:\/\/.+?)\s+.+';
if (-f $access_log) {
    open(ACCESS_FH, $access_log) or safe_exit("Cannot open file: $access_log");
    while (<ACCESS_FH>) {
        next unless /$log_pattern/i;
        $url_table{$1}++;
    }
    close(ACCESS_FH);
}

因为脚本是其他部门提供的，我也不太明白为什么他们写成^.*?这个样子……

chenryn

读取文件是否太“贪婪” ?
是否大量全局变量？
是否优化流程？
是否频繁打开句柄？
Osment 发表于 2010-05-06 17:47

    多谢大哥，有时间的话能稍微详细讲解一下这几问么？

Osment

多谢大哥，有时间的话能稍微详细讲解一下这几问么？
chenryn 发表于 2010-05-06 19:23

呃。贪婪说的是一次性读入， 比如 @lines = <FILE>  样式。 但是我看见你用了 while (<F>) 逐行。
说白了，这样的东西只能说成这样了，Perl 处理文本是长项。 要效率无非是 算法的优化罢了。

PS :正则里面 ^ 匹配句头。 建议 加上 /oi 。。

toniz

{:3_193:}哈希太大。。。

liyangole

回复 6# Osment


    路过

chenryn

呃。贪婪说的是一次性读入， 比如 @lines =   样式。 但是我看见你用了 while () 逐行。
说白了，这样的 ...
Osment 发表于 2010-05-07 01:18

    多谢多谢~~~

chenryn

哈希太大。。。
toniz 发表于 2010-05-07 09:40

    呃，现存的url目前大概有四百万条吧。已经运行了一段时间，现在新增的估计不会太多。
   有别的好办法么？