急等awk处理maillog大文件

guobaofu

CUer，大家好，
我现在遇到一个问题，就是awk处理3个G的文件，非常的慢，等很长时间也没有结果。机器配置挺高的。
我的例子文件只有10000行，awk很快就能检索出我的需要的数据。
但是我们生产环境的mail log都是几千万行级别的，我是每分钟需要检索数据来自于上次行号到这次末行的记录。

请大家帮我优化一下awk,如果能够实现单行perl也行，我可以嵌套到shell里面。





awk 'BEGIN {sent=0;reject=0} {
                   if (NR>'"$_last_line"' && NR<='"$_current_line"' && $0 ~ /to=.*status=sent/){sent++}
                   else if ($0 ~ /postfix.*reject:/){reject++}
                   };
                   END {printf("Sent Messages: %.1f\n" "Reject Messages: %.1f\n",sent/60,reject/60) }' /var/log/maillog

guobaofu

谢谢各位大神的帮助～～