大文件内容处理,帮忙研究下怎么搞比较好;

hello|world

需求描述: 文本文件,大概几十G, 内容如下:

1. 描述 yyyy/mm/dd 2010/06/08
   
2. [:a:]--------[id:uyux]--------[:/a:]
   
3. 描述 yyyy/mm/dd 123123123
   
4. [:b:]--------[id:uyux][nn:1234]----
   
5. -------[:/b:]
   
6. 
   
7. 描述 yyyy/mm/dd 2010/06/08
   
8. [:a:]--------[id:werq]--------[:/a:]
   
9. 描述 yyyy/mm/dd 2010/06/08
   
10. [:b:]--------[id:werq][nn:1234]--------[:/b:]
    
11. 
    
12. 描述 yyyy/mm/dd 2010/06/08
    
13. [:a:]--------[id:zxcv]--------[:/a:]
    
14. 描述 yyyy/mm/dd 2010/06/08
    
15. [:b:]-----
    
16. ---[id:zxcv][nn:1234]--------[:/b:]
    
17. 
    
18. 描述 yyyy/mm/dd 2010/06/08
    
19. [:b:]--------[id:sdfa][nn:1234]--------[:/b:]
    
20. 描述 yyyy/mm/dd 2010/06/08
    
21. [:a:]--------[id:sdfa]--------[:/a:]
    
22. 
    
23. 描述 yyyy/mm/dd 2010/06/08
    
24. [:a:]--------[id:stre]--------[:/a:]
    
25. 
    
26. 描述 yyyy/mm/dd 2010/06/08
    
27. [:a:]--------[id:sdfa]--------[:/a:]
    
28. 描述 yyyy/mm/dd 123123123
    
29. [:b:]------
    
30. --[id:stre][nn:1300]--------[:/b:]
    
31. 描述 yyyy/mm/dd 123123123
    
32. [:b:]--------[id:sdfa][nn:1234]--------[:/b:]
    
33. 
    
34. 描述 yyyy/mm/dd 2010/06/08
    
35. [:a:]------
    
36. --[id:eref]--------[:/a:]
    
37. 描述 yyyy/mm/dd 123123123
    
38. [:b:]--------[id:eref][nn:1301]--------[:/b:]
    
39. 
    
40. ........
    
41. ........
    
42. 
    
43. 取出所有nn不等于1234的id的a,b标签及内容结果,如下:
    
44. [:a:]--------[id:stre]--------[:/a:]
    
45. [:b:]--------[id:stre][nn:1300]--------[:/b:]
    
46. 
    
47. [:a:]--------[id:eref]--------[:/a:]
    
48. [:b:]--------[id:eref][nn:1301]--------[:/b:]

复制代码

因为需要对每个提出来的每项进行数据处理, 所以用while read line做了一下, 速度不能接受, 不知道各位有没有好办法~

补充: 在[:a:]和[:/a:]之间的内容可能出现换行..
还有的情况,相同id的 a ,b 内容不一定是上下行挨着的,顺序是乱的...

hbmhalley

1. sed -n '/^\[/!d;x;n;n;/nn:1234/d;H;x;p' file

复制代码

yestreenstars

awk

1. awk '/:a:/{s=$0}/:b:/{if(!/1234/)print s"\n"$0}' urfile

复制代码

sed

1. sed -n '/:a:/h;/:b:/{/1234/b;H;g;p}' urfile

复制代码

zhaopingzi

1. 
   
2. $  awk -vRS="" -vFS="\n" ' {if($4!~/nn:1234/) print $2"\n"$4"\n"}'  file
   
3. [:a:]--------[id:stre]--------[:/a:]
   
4. [:b:]--------[id:stre][nn:1300]--------[:/b:]
   
5. 
   
6. [:a:]--------[id:eref]--------[:/a:]
   
7. [:b:]--------[id:eref][nn:1301]--------[:/b:]
   

复制代码

hello|world

回复 3# yestreenstars


   非常感谢你的回答,学习了;
   如果文件内容并非我给的这么规律,在 [:a:][:\a:] ,[:b:][:/b:]之间的内容可以存在换行现象..  这样处理就不对了..

hello|world

问题少描述了内容:
补充: 在[:a:]和[:/a:]之间的内容可能出现换行..
还有的情况,相同id的 a ,b 内容不一定是上下行挨着的,顺序是乱的...

wang_xue_m

你把所有的会出现的情况，都写到你的example文件里

hello|world

回复 7# wang_xue_m


    把文件例子修改了

yestreenstars

回复 5# hello|world

举个例子？
   

hello|world

回复 9# yestreenstars


  就是这个意思: [:b:]-----
---[id:stre][nn:1300]-----
---[:/b:]
并一定在同一行里