处理文本命令优化

mafeifan

文本内容：baike.txt

1. <REC>
   
2. <ID>=1
   
3. <TITLE>=百度百科
   
4. <CATEGORY>=百度，百度百科，网络，百科全书，百科词典
   
5. <RETITLE>=百度知道;贴吧;百度空间;百度地图;百度新闻搜索;百度图片;百度mp3;百度Hi;百度工具栏;百度影视;百度邮编搜索;百度黄页搜索;百度杀毒;百度语音搜索;科利尔百科全书;苏联大百科全书;汇吃百科;维基百科;百度视频;百度蜘蛛;百度文库;互动百科;百度文档;百度文化共享搜索;百度盲道;百度会员;百度搜藏;百度TV;百科全书;知识掌门人;百度游戏;百度有啊;张震;科友;
   
6. <URL>=http://baike.baidu.com/view/1.htm
   
7. 
   
8. <REC>
   
9. <ID>=2
   
10. <TITLE>=词条
    
11. <CATEGORY>=百度，百度百科
    
12. <RETITLE>=相关词条;
    
13. <URL>=http://baike.baidu.com/view/2.htm
    
14. 
    
15. <REC>
    
16. <ID>=3
    
17. <TITLE>=编辑实验
    
18. <CATEGORY>=百度，百度百科，帮助，词条，编辑
    
19. <RETITLE>=词条;百度;
    
20. <URL>=http://baike.baidu.com/view/3.htm
    
21. 
    
22. <REC>
    
23. <ID>=4
    
24. <TITLE>=馒头
    
25. <CATEGORY>=食品，饮食，面食，食谱，蒸馍
    
26. <RETITLE>=大饼;油条;面包;饺子;花卷;包子;麻花;食品;主食;糯米饭;蛋糕;鲜肉包;米粥;面条;凉拌菜;年糕;饼干;窝头;粽子;烤饼;酥饼;汤圆;烧饼;
    
27. <URL>=http://baike.baidu.com/view/4.htm

复制代码

要求保留包含ID 、 Title 、 Category的行，并且显示在一行
结果类似

1. 
   
2. 1@百度百科@百度，百度百科，网络，百科全书，百科词典
   
3. 2@词条@百度，百度百科
   
4. 3@编辑实验@百度，百度百科，帮助，词条，编辑
   
5. 4@馒头@食品，饮食，面食，食谱，蒸馍
   
6. 5@雁荡山@地理，旅游，旅游景点，自然景观，地质公园
   

复制代码

我的做法
先提取再合并

1. grep '<TITLE>=' baike.txt | tr -d "<TITLE>=" > title.txt
   
2. grep '<CATEGORY>=' baike.txt | tr -d "<CATEGORY>=" > category.txt
   
3. paste -d@ title.txt  category.txt > finish.txt

复制代码

现在问题命令中有很多重复的内容 如title category 想用变量代替
比如把<TITLE>=，<CATEGORY>=放到一个数组中，用循环
写成个sh
请问怎么优化

wang390750

1. awk -vRS="<REC>" -F "[\n=]+" -vOFS="@" 'NR>1{print $3,$5"\n"OFS$7}'

复制代码

mafeifan

回复 2# wang390750


    看不懂 能否解释一下 怎么传入 baike.txt

这个冬天不冷

1. # awk -F= '/<TITLE>/{t="@"$NF}/<CATEGORY>/{print ++i t"@"$NF}' i
   
2. 1@百度百科@百度，百度百科，网络，百科全书，百科词典
   
3. 2@词条@百度，百度百科
   
4. 3@编辑实验@百度，百度百科，帮助，词条，编辑
   
5. 4@馒头@食品，饮食，面食，食谱，蒸馍
   
6. cat i
   
7. <REC>
   
8. <ID>=1
   
9. <TITLE>=百度百科
   
10. <CATEGORY>=百度，百度百科，网络，百科全书，百科词典
    
11. <RETITLE>=百度知道;贴吧;百度空间;百度地图;百度新闻搜索;百度图片;百度mp3;百度Hi;百度工具栏;百度影视;百度邮编搜索;百度黄页搜索;百度杀毒;百度语音搜索;科利尔百科全书;苏联大百科全书;汇吃百科;维基百科;百度视频;百度蜘蛛;百度文库;互动百科;百度文档;百度文化共享搜索;百度盲道;百度会员;百度搜藏;百度TV;百科全书;知识掌门人;百度游戏;百度有啊;张震;科友;
    
12. <URL>=http://baike.baidu.com/view/1.htm
    
13. 
    
14. <REC>
    
15. <ID>=2
    
16. <TITLE>=词条
    
17. <CATEGORY>=百度，百度百科
    
18. <RETITLE>=相关词条;
    
19. <URL>=http://baike.baidu.com/view/2.htm
    
20. 
    
21. <REC>
    
22. <ID>=3
    
23. <TITLE>=编辑实验
    
24. <CATEGORY>=百度，百度百科，帮助，词条，编辑
    
25. <RETITLE>=词条;百度;
    
26. <URL>=http://baike.baidu.com/view/3.htm
    
27. 
    
28. <REC>
    
29. <ID>=4
    
30. <TITLE>=馒头
    
31. <CATEGORY>=食品，饮食，面食，食谱，蒸馍
    
32. <RETITLE>=大饼;油条;面包;饺子;花卷;包子;麻花;食品;主食;糯米饭;蛋糕;鲜肉包;米粥;面条;凉拌菜;年糕;饼干;窝头;粽子;烤饼;酥饼;汤圆;烧饼;
    
33. <URL>=http://baike.baidu.com/view/4.htm
    
34. [root@xinfuka ~]#
    

复制代码

yestreenstars

1. awk -F '[=\n]+' -vRS='<REC>' -vOFS='@' 'NR>1{print $3,$5,$7}' baike.txt

复制代码

rulebook

1. awk -F"=" '$1~/<REC>/{s="";k=0}$1~/<ID>|<TITLE>|<CATEGORY>/{s=s?s"@"$2:$2;k++;if(k==3){print s}}' o

复制代码

jason680

回复 1# mafeifan

$ awk -F= -vOFS="@" '/<ID>/{id=$2}/<TITLE>/{ti=$2}/<CATEGORY>/{print id,ti,$2;id=ti=""}' baike.txt
1@百度百科@百度，百度百科，网络，百科全书，百科词典
2@词条@百度，百度百科
3@编辑实验@百度，百度百科，帮助，词条，编辑
4@馒头@食品，饮食，面食，食谱，蒸馍

   

mafeifan

谢谢 awk确实很强大 学习了

mafeifan

回复 7# jason680

怎么每个ID占一行，结果是：

1. 1
   
2. @百度百科
   
3. @百度，百度百科，网络，百科全书，百科词典
   
4. 
   
5. 2
   
6. @词条
   
7. @百度，百度百科
   
8. 
   
9. 3
   
10. @编辑实验
    
11. @百度，百度百科，帮助，词条，编辑
    
12. 
    
13. 4
    
14. @馒头
    
15. @食品，饮食，面食，食谱，蒸馍
    
16. 
    
17. 6
    
18. @雁荡山
    
19. @地理，旅游，旅游景点，自然景观，地质公园
    
20. 
    
21. 7
    
22. @灵峰
    
23. @风景，雁荡山，地理，旅游，温州
    
24. 
    
25. 8
    
26. @大龙湫
    
27. @雁荡山，地理，文言文，风景旅游，中国浙江
    
28. 
    
29. 9
    
30. @五大夫松
    
31. @风景，旅游，历史，国宝，古树名木
    
32. 
    
33. 10
    
34. @红色食品
    
35. @食疗，健康，食品，科学，饮食
    
36. 
    
37. 11
    
38. @饴糖
    
39. @食品，中药，烹饪，糖类，农产品
    

复制代码

jason680

回复 9# mafeifan

1. change OFS
$ awk -F= -vOFS="\n@" '/<ID>/{id=$2}/<TITLE>/{ti=$2}/<CATEGORY>/{print id,ti,$2"\n";id=ti=""}' baike.txt

2. print it directly
$ awk -F= '/<ID>/{print $2}/<TITLE>/{print "@"$2}/<CATEGORY>/{print "@"$2"\n"}' baike.txt