awk 实现 grep -A3 -B3 的效果，文本10G行

blackold

回复 10# unixzhong

1. awk -f grepC.awk urfile

复制代码

grepC.awk

1. {
   
2.     if (/B/) {
   
3.         if (!f) {
   
4.             if (p) {
   
5.                 if ( mN && NR - lpN > 3) print "--";
   
6.                 print p;
   
7.                 p = "";
   
8.             }
   
9.             f = !f;
   
10.         }
    
11.         mN = NR;
    
12.         print;
    
13.         lpN = NR;
    
14.     } else if (f) {
    
15.         if (NR-mN > 3) {
    
16.             f = !f;
    
17.             if (gsub(/\n/,"\n",p) > 1) sub(/[^\n]*\n/,"",p);
    
18.             p = p?p"\n"$0:$0;
    
19.         } else {
    
20.             print;
    
21.             lpN = NR;
    
22.         }
    
23.     } else {
    
24.         if (gsub(/\n/,"\n",p) > 1) sub(/[^\n]*\n/,"",p);
    
25.         p = p?p"\n"$0:$0;
    
26.     }
    
27. }

复制代码

yinyuemi

回复  blackold

黑哥：

我的代码已经可以处理 重叠的情况了，就是想看看有没有其他 思路，当然我希望 ...
unixzhong 发表于 2011-03-23 15:39

1. awk '{a[++p]=$0}
   
2. 
   
3. /B/{p>f+3;print "-----"
   
4. 
   
5.         f=p;
   
6. 
   
7.         for(i=p-3;i<=p;i++)
   
8. 
   
9.                 if((!(i in b))&&a[i]){print a[i];b[i]}
   
10. 
    
11.     }
    
12. 
    
13. NR==f+3&&f{
    
14. 
    
15.         for(k=NR-2;k<=NR;k++)
    
16. 
    
17.                 if((!(k in b))&&a[k]){print a[k];b[k]}
    
18. 
    
19.              }'

复制代码

这个应该会快点

blackold

刚才做了测试，grep快很多，有时间可以看看grep的源码。

yinyuemi

刚才做了测试，grep快很多，有时间可以看看grep的源码。
blackold 发表于 2011-03-24 10:07

    恩，我也测试了，
seq 1000000 |awk 'END{print}'
和
seq 1000000 | grep -A3 -B3 -w 5000
用的时间几乎一样

unixzhong

回复 11# blackold


    快速扫描了下黑哥代码，发现的确没有用 a[NR]=$0
心里肯定了， 有不那么耗费内存的方式。
（  我一楼代码里面  那种方式吃太多内存 ----------------数组保存所有行）

再看了下 黑哥代码，自己功力太浅，看的有点头晕，因为没有 了解 黑哥的思路。

就暂时不敢回贴了。

后来就放一边了， 看其他awk代码去了，嘿嘿，从 tail -n 2 的awk实现例子里，得到了一点启发。

于是 有了下面的  我的新实现了 （只需要一个 小 数组 临时 保存 当前行 和 它的前3行即可  ）

经过验证，才敢贴上来

man find | awk -f mygrep_atime_nodebug.awk  > mygrep_output

man find |  grep -A3 -B3  atime  > grep_output

diff mygrep_output  grep_output 没输出 ：）

1. BEGIN { Last_Range_End=0; Range_End=0;  for(i=0;i<=3;i++)keep[i]="" }
   
2. 
   
3. 
   
4. {for(j=3;j>0;j--)keep[j]=keep[j-1];  keep[0]=$0}
   
5. NR<=Range_End { print $0 }
   
6. 
   
7. 
   
8. 
   
9. /atime/{ Last_Range_End=Range_End; Range_End= NR + 3;
   
10. 
    
11.                 if (  Last_Range_End < NR )
    
12.                          {
    
13.                         non_intersect_lines=(4 - (NR - Last_Range_End) )>0? (NR - Last_Range_End) :4 ;
    
14.                         if(non_intersect_lines==4) print "--" ;  
    
15.                         for(i=non_intersect_lines-1;i>=0;i--) print keep[i]
    
16.                         }
    
17.           }
    

复制代码

回家

unixzhong

回复 14# yinyuemi


    谢谢  yinyuemi  一直以来的 热心探讨

     第一次知道 有 seq这个命令，

     能 就 如何 测量  脚本效率， 简单地 说说吗？ 我还从来没 这样的经历， 多谢了。

yinyuemi

回复 16# unixzhong


  这个.... , 还是高手解答吧, 时间应该算个很直观的标准!

blackold

回复 15# unixzhong


    你用经典的数据来测试, 就发现和grep的输出有差别了。

南极雨

回复 5# yinyuemi

经！！！

MeaCulpa

既然是Awk就可以用Awk way, 扔给awk自己处理不知道会不会快一些:

1. 
   
2. awk 'BEGIN{FS="\n"; RS=EOF} {代码}'
   

复制代码