awk 分解文件

ljmmail

如何使用 awk 分析以下数据，按照指定标志分解文件

@@@@@<<<<<  为新文件开始标志，后面紧跟着文件名称
#####>>>>> 为文件结束标志
最后分解为
./ftt
./pfhsm/include/kmSpier.h

1. @@@@@<<<<< ./ftt BEGIN (17)LINES @@@@@<<<<<
   
2. FBZ="@@@@@<<<<<"
   
3. HBZ="#####>>>>>"
   
4. FNUM=0
   
5. FCNT=0
   
6. 
   
7. for  t in ` find . -type f `
   
8. do
   
9. fwcl=`wc -l $t | awk '{print $1}'`
   
10. echo "$FBZ $t BEGIN ($fwcl)LINES $FBZ"
    
11. cat  $t
    
12. echo "$HBZ $t END ($fwcl)LINES $HBZ"
    
13. FNUM=`expr $FNUM + 1 `
    
14. FCNT=`expr $FCNT + $fwcl `
    
15. done
    
16. 
    
17. echo "$HBZ 共 $FNUM 文件, $FCNT 行 $HNZ"
    
18. echo "\n\n"
    
19. #####>>>>> ./ftt END (17)LINES #####>>>>>
    
20. @@@@@<<<<< ./pfhsm/include/kmSpier.h BEGIN (26)LINES @@@@@<<<<<
    
21. //    Author:    Wolfgang Wang
    
22. //    Date:    2003/09/02
    
23. 
    
24. // 为UP-2003-04-13开发
    
25. 
    
26. #ifndef _UnionKMSpierSpier_
    
27. #define _UnionKMSpierSpier_
    
28. 
    
29. #include "appKMSvr.h"
    
30. #include "idOfApp.h"
    
31. 
    
32. typedef struct
    
33. {
    
34.         char    requestOrResponse;    // 请求还是响应，1表示请求，0表示响应
    
35.         char    idOfApp[2];        // 应用标识，应用固定为80
    
36.         char    idOfOperation[2];    // 操作标识，参见：appKMSvr.h的定义
    
37.         char    errCode[6];        // 错误码，操作产生
    
38. } TUnionKMSpierHeader;
    
39. typedef TUnionKMSpierHeader    *PUnionKMSpierHeader;
    
40. 
    
41. int UnionSpyKMRequest(char *idOfOperation,char *reqStr,int len);
    
42. int UnionSpyKMResponse(char *idOfOperation,char *errCode,char *resStr,int len);
    
43. int UnionUnpackKMSpierPackage(char *pck,int lenOfPck,PUnionKMSpierHeader pheader,char *buf,int sizeOfBuf);
    
44. int UnionAnalysisKMSpierPackage(char *pck,int lenOfPck,char *reqOrRes,char *oper,char *errCode,char *buf,int sizeOfBuf);
    
45. 
    
46. #endif
    
47. #####>>>>> ./pfhsm/include/kmSpier.h END (26)LINES #####>>>>>
    

复制代码

ljmmail

注意文件 名称中带有路径信息，可能需要创建目录

jason680

回复 2# ljmmail

$ awk 'match($0,"^@@@@@<<<<< ([^ ]+)",m){f=m[1];s="";next}/^#####>>>>> /{print "file:"f;cmd="mkdir -p `dirname "f"`";system(cmd);printf("%s",s)>f;next}{s=s$0"\n"}' FILE
file:./ftt
file:./pfhsm/include/kmSpier.h

$ wc ./ftt
17  56 313 ./ftt

$ wc ./pfhsm/include/kmSpier.h
26  69 971 ./pfhsm/include/kmSpier.h

wh7211

回复 1# ljmmail

1. awk '/^@@@@@<<<<<.*@@@@@<<<<<$/{a="";split($0,s);dir=gensub("[^/]+$","","1",s[2]);system("mkdir -p "dir"")}{a=a?a"\n"$0:$0}/^#####>>>>>.*#####>>>>>$/{print a>s[2];a=""}' file

复制代码

ljmmail

谢谢 jason680 回复，这个方法确实可用。

ljmmail

1. awk '
   
2.         BEGIN { mpath=""; npath="";}
   
3.         ## 对文件开始标志行处理，获取文件名称，判断文件夹没出现过，则建立子目录
   
4.         { if ($0 ~ /^@@@@@<<<<</) {
   
5.                 split($0,s); f=substr(s[2], 3);
   
6.                 npath=gensub("[^/]+$","","1",s[2])
   
7.                 if(npath != mpath) { cmd="mkdir -p "npath" "; system(cmd); mpath=npath; }
   
8.                 icnt=0; buf=""; next}
   
9.         }
   
10.         ## 对文件结束标志处理，输出缓冲区数据，打印提示信息
    
11.         { if ($0 ~ /^#####<<<<</) { print "create :-> " f; printf("%s",buf)>f;next}}
    
12.        
    
13.         ## 正常数据行，追加新数据到缓冲区中，并计算行数
    
14.         { buf=buf$0"\n"; icnt = icnt + 1; }
    
15.         ## 缓冲区中有 64 上时，完成一次数据输出
    
16.         { if(icnt==64) { printf("%s",buf)>f; buf=""; icnt = 0; }}
    
17. 
    
18. '  filename

复制代码

这是一个整理后的处理脚本，增加了一些特效，程序效率很高

ljmmail

1. awk '
   
2.         BEGIN { mpath=""; npath="";}
   
3.         ## 对文件开始标志行处理，获取文件名称，判断文件夹没出现过，则建立子目录
   
4.         { if ($0 ~ /^@@@@@<<<<</) {
   
5.                 split($0,s); f=substr(s[2], 3);
   
6.                 npath=gensub("[^/]+$","","1",s[2])
   
7.                 if(npath != mpath) { cmd="mkdir -p "npath" "; system(cmd); mpath=npath; }
   
8.                 icnt=0; buf=""; next}
   
9.         }
   
10.         ## 对文件结束标志处理，输出缓冲区数据，打印提示信息
    
11.         { if ($0 ~ /^#####<<<<</) { print "create :-> " f; printf("%s",buf)>f;next}}
    
12.        
    
13.         ## 正常数据行，追加新数据到缓冲区中，并计算行数
    
14.         { buf=buf$0"\n"; icnt = icnt + 1; }
    
15.         ## 缓冲区中有 64 上时，完成一次数据输出
    
16.         { if(icnt==64) { printf("%s",buf)>f; buf=""; icnt = 0; }}
    
17. 
    
18. '

复制代码

这是整理后的脚本，增加了一些特效，处理效率很高。

龙牙地主天

1. awk '/@@@@@<<<<<.*@@@@@<<<<</{match($0,"@@@@@<<<<< (.*) BEGIN.*@@@@@<<<<<",a) ; p=1 ; next }/#####>>>>>.*#####>>>>>/{p=0}{if(p==1) print $0 > a[1]}' urfile

复制代码