zcat | awk 执行很慢

jayeeliu

1. zcat "$file"|awk -v ndate="$date" --posix '{if($11~/^[^"]{1,16}$/) {str=ndate "\t" $9 "\t" $11"\t"; if ($13 == "succ") {print str"1\t"} else {print str"0\t"$15}}}' > "$logfile"

复制代码

这样一条命令我在一台linux的机器上执行起来非常慢，处理一个10M的压缩文件要大概十分钟。

服务器环境正常，配置还算过得去。

jayeeliu

同样的文件我在cygwin下只跑了20多秒（同样的命令，处理的结果也一样）。

sayigood

回复 1# jayeeliu


    可以把你的问题列出来，看高手们如何实现这条语句。

jinl

回复 1# jayeeliu


   为什么要用zcat 再通过管道传递给awk处理，直接使用awk 不可以么？

jayeeliu

回复 4# jinl


    问题不是这些，是awk用posix时，strace看到他一直在读写，基本上读完数据就开始写，1s处理不了几条数据，不知道awk用posix时为什么这么做。

jayeeliu

放弃了

用awk+sed了

redspider

首选方案是Perl

Shell_HAT

回复 6# jayeeliu


代码贴出来看看？