perl 行读入大文件的问题

kernel69

工作中要查看日志，以前是用grep，现在想用perl来完成并在原来的命令上面又完善了一下，

以前用grep命令如下

1. grep `date +%F` -A 100  -a  /usr/local/jboss/server/default/log/program.log|more

复制代码

现在用perl命令如下:

1. perl -ne 'chomp($t=`date +%F`);print if /$t/ && !/\d{11}$/'  /usr/local/jboss/server/default/log/program.log|more

复制代码

发现perl在处理小于50M的文件时，速度还是可以，但超过50M后就得等好长时间，在执行时我用top观察perl只是占用CPU内存占用是0，按说用行读入模式应该读入一行处理一行并及时打印出来啊，请帮忙看一下，是我写的代码有问题？还是怎么样，perl读入文件内容的原理有怎样的？一次将整个文件全部读入然后处理？

kernel69

怎么没人回复啊，版主，帮忙看一下啊

zhlong8

每一行数据就开一个进程

kernel69

能帮忙修改一下吗？
回复 3# zhlong8


   

zhlong8

-n 相当于在开头结尾插入代码

1. LINE:
   
2. while (<>){
   
3.     #-e 里面的代码
   
4. }

复制代码

解决方法是让这个 `date %F` 只执行一次，一种方法是用 BEGIN 让它在编译期执行，运行时看不到这行代码自然也就不会循环了。

1. perl -ne 'BEGIN{chomp($t=`date +%F`)} print if /$t/ && !/\d{11}$/'

复制代码

kernel69

非常感谢版主，原来是chomp($t=`date +%F`)，但我还是不太明白，为什么处理一行就开启一个进程？难道是chomp($t=`date +%F`)每执行一次就会开启一个进程？还是怎样？
回复 5# zhlong8


   

zhlong8

回复 6# kernel69


    你用 grep 那个例子 shell 帮你处理过最终 grep 看到的是个字符串常量，而 Perl 代码上面不是说了有个隐藏的 while 循环，每次到 chomp($t=`date +%F`); 都会求值它，而 `` 会调用 shell

kernel69

哦，明白了，灰常感谢
回复 7# zhlong8