处理个非常大的文件用awk还是用Python？

sulaimani_yu

有个非常大的文件要处理，大概亿条数据的规模吧

大概是这样的

count:user_count@1405330702789=^@^@^@^@^@^@^@^@^_
count:user_num@1405123296208=0^_
info:team@1405123296982=50000671^_


现在想把user_count非零的并且team的值在一个集合里面的数据找出来，应该怎么整啊

上面那些乱码是从Hbase里面export数据的时候带出来的分隔符。

我grep user_count然后awk它能看出=后面是不是数字，可是怎么能继续判断下面的team的值是否符合要求呢？

头疼

sulaimani_yu

对了，补充一下，user_count后面的数字也不是紧跟=号的，而是有分隔符的，比如这样:

count:user_count@1405330702789=^@^@^@^@^@^@^@^@3^_

yestreenstars

文本处理，awk比python专业多了~

Herowinter

回复 1# sulaimani_yu
给个10几条记录的文本，再给个示范的team集合，
很快就有人给代码的。

   

sulaimani_yu

数据比如这样的：

count:user_count@1405330702789=^@^@^@^@^@^@^@^@^_
count:user_num@1405123296208=0^_
info:team@1405123296982=50000671^_
^^
count:user_count@1400000166287=^@^@^@^@^@^@^@^A^_
count:user_num@1382241122888=0^_
info:team@1383533112230=50008898^_
^^
count:user_count@1396901933090=^@^@^@^@^@^@^@^B^_
count:user_num@1396901933433=0^_
info:team@1396901933270=50021422^_
^^
ROWKEY=14:10000012955^_
count:user_count@1398766330048=^@^@^@^@^@^@^@3^_
count:user_num@1398168030155=0^_
info:team@1398168029628=50008881^_
^^
ROWKEY=14:10000011267^_
count:user_num@1396901933433=0^_
info:team@1396901933270=50021422^_




team的值[50008881,50008898]

expert1

3.4楼真是热心人，路过得2分，走人。

Herowinter

回复 5# sulaimani_yu
如果team集合记录比较多，建议放到一个单独的文件里。

1. awk -vt1="50008881" -vt2="50008898" 'BEGIN{team[t1];team[t2]} /user_count/{count=gensub(/[^@]*@([0-9]*).*/,"\\1",1);if(count!=0){s=$0;k=1}} k{s=s"\n"$0;if($0~/team@/){tid=gensub(/.*=([0-9]*).*/,"\\1",1);if(tid in team){print s;k=0}}}' i
   
2. count:user_count@1400000166287=^@^@^@^@^@^@^@^A^_
   
3. count:user_count@1400000166287=^@^@^@^@^@^@^@^A^_
   
4. count:user_num@1382241122888=0^_
   
5. info:team@1383533112230=50008898^_
   
6. count:user_count@1398766330048=^@^@^@^@^@^@^@3^_
   
7. count:user_count@1398766330048=^@^@^@^@^@^@^@3^_
   
8. count:user_num@1398168030155=0^_
   
9. info:team@1398168029628=50008881^_

复制代码

1. cat i
   
2. count:user_count@1405330702789=^@^@^@^@^@^@^@^@^_
   
3. count:user_num@1405123296208=0^_
   
4. info:team@1405123296982=50000671^_
   
5. ^^
   
6. count:user_count@1400000166287=^@^@^@^@^@^@^@^A^_
   
7. count:user_num@1382241122888=0^_
   
8. info:team@1383533112230=50008898^_
   
9. ^^
   
10. count:user_count@1396901933090=^@^@^@^@^@^@^@^B^_
    
11. count:user_num@1396901933433=0^_
    
12. info:team@1396901933270=50021422^_
    
13. ^^
    
14. ROWKEY=14:10000012955^_
    
15. count:user_count@1398766330048=^@^@^@^@^@^@^@3^_
    
16. count:user_num@1398168030155=0^_
    
17. info:team@1398168029628=50008881^_
    
18. ^^
    
19. ROWKEY=14:10000011267^_
    
20. count:user_num@1396901933433=0^_
    
21. info:team@1396901933270=50021422^_

复制代码

q1208c

好象我理解错了楼主的意思.

闪!

sulaimani_yu

多谢啊
team的过滤有效果了，
可是过滤数字的效果没有达到啊

我希望首先把user_count有数字的滤出来，然后再用team过滤



回复 7# Herowinter


   

Herowinter

回复 9# sulaimani_yu

哦，我理解错了，你说的数字不是“user_count@”后面的那串，
而是=后面那个，但是你给的记录含有user_count的行=后面基本没数字？
5楼的文本，你期望的结果是什么？