大文件内容处理,帮忙研究下怎么搞比较好;

yestreenstars

回复 10# hello|world


    我修改一下

yestreenstars

想了好久，终于想出来了，但是用来处理大文件效率可能有点低，因为用到了管道，你可以试一下，先用sed修复文本，再通过awk处理文本：

1. sed '/-$/{N;s/\n//}' 1.txt | awk '/^\[/{for(i in a)if($0~i){if(a[i]!~/1234/&&a[i]~/nn/)print a[i]"\n"$0;if($0!~/1234/&&$0~/nn/)print a[i]"\n"$0};id=gensub(/.*id:([a-z]*).*/,"\\1",1);a[id]=$0}'

复制代码

dn833

1. 描述 yyyy/mm/dd 2010/06/08
   
2. [:a:]--------[id:stre]--------[:/a:]
   
3. 
   
4. 描述 yyyy/mm/dd 2010/06/08
   
5. [:a:]--------[id:sdfa]--------[:/a:]
   
6. 描述 yyyy/mm/dd 123123123
   
7. [:b:]------
   
8. --[id:stre][nn:1300]--------[:/b:]
   
9. 描述 yyyy/mm/dd 123123123
   
10. [:b:]--------[id:sdfa][nn:1234]--------[:/b:]

复制代码

这段意思是说id:stre的b在下一条id:sdfa里包含着？？？

mcshell

回复 1# hello|world

1. perl -ne 'if(/(\[:(?:a|b):\].+?\[:\/(?:a|b):\])/ and $1 !~/1234/){print "$1\n"};if(/(.*?-$)/ and $1 !~ /1234/){$data=$1};if(defined $data and /^-(.*)/ and $1 !~ /1234/){print $data;print "$1\n"}' tmp
   
2. [:a:]--------[id:uyux]--------[:/a:]
   
3. [:a:]--------[id:werq]--------[:/a:]
   
4. [:a:]--------[id:zxcv]--------[:/a:]
   
5. [:a:]--------[id:sdfa]--------[:/a:]
   
6. [:a:]--------[id:stre]--------[:/a:]
   
7. [:a:]--------[id:sdfa]--------[:/a:]
   
8. [:b:]-------[id:stre][nn:1300]--------[:/b:]
   
9. [:a:]-------[id:eref]--------[:/a:]
   
10. [:b:]--------[id:eref][nn:1301]--------[:/b:]
    

复制代码

用perl做的，其实效率在于regex的优化....用精确匹配前面的。
大文件应该效率没什么问题，其实还可以再次优化的。。。。