请大神指导从大日志文件中统计关键字次数的办法

zbs168

需求如下：
文件A中有若干行数据，每行为一个关键字
文件B为大日志文件，大小为10G以下

想着能够统计出文件A中每个关键字在B中的出现次数，例如
行1，3
行2，10
行3，100
。。。。。

最笨的办法是逐行读入后用grep，但是太费时间，有没有只打开一次B文件，就能把A中所有行都统计出来的办法呢？
请大神指导

zsszss0000

filea

1. aaa
   
2. bbb
   
3. ccc
   
4. ddd
   
5. eee
   
6. fff

复制代码

fileb

1. aaa
   
2. aaa
   
3. aaa
   
4. bbb
   
5. bbb
   
6. bbb
   
7. ccc
   
8. ccc
   
9. ccc
   
10. ccc
    
11. ddd
    
12. ddd

复制代码

1. awk 'NR==FNR{a[$0]=1;next}{if($0 in a)b[$0]++}END{for (i in b)print i,b[i]}' filea fileb | sort

复制代码

1. aaa 3
   
2. bbb 3
   
3. ccc 4
   
4. ddd 2

复制代码

yestreenstars

给个大概的思路你，因为不知道你的文本时怎样的，所以没考虑边界问题，自己根据实际情况改一下吧~

1. awk 'ARGIND==1{a[$0]}ARGIND==2{for(i in a)if($0~i)a[i]++}ARGIND==3{printf "%s,%d\n",$0,a[$0]}' a b a

复制代码

LikeLx

回复 2# zsszss0000

日志找关键字， b文本每行的数据应该比a文本多，你这个就不好用了。
   

zsszss0000

1. awk 'NR==FNR{a[$0]=1;next}{for(i in a ){if($0~i)b[$0]++}}END{for (i in b)print i,b[i] }' filea fileb | sort

复制代码

for(i in a ){if($0~i)b[$0]++}

zbs168

zsszss0000 发表于 2015-04-08 09:35
for(i in a ){if($0~i)b[$0]++}

filea:
#backup
aaa,1
bb,0
ccc,1
ddd,1

fileb:
08-Apr-2015 10:09:27.859 queries: client 180.95.168.249#51658 (aaa): view any-user: query: aaa IN AAAA + (9.9.9.9)
08-Apr-2015 10:09:27.859 queries: client 180.95.168.249#51658 (bb): view any-user: query: bb IN AAAA + (9.9.9.9)
08-Apr-2015 10:09:27.859 queries: client 180.95.168.249#51658 (aaa): view any-user: query: aaa IN AAAA + (9.9.9.9)
08-Apr-2015 10:09:27.859 queries: client 180.95.168.249#51658 (aaa): view any-user: query: aaa IN AAAA + (9.9.9.9)
08-Apr-2015 10:09:27.859 queries: client 180.95.168.249#51658 (ddd): view any-user: query: ddd IN AAAA + (9.9.9.9)

类似这样的
filea里面的关键字指的是不带#备注的行的逗号之前的，例如是
aaa
bb
ccc
ddd

结果想得到的是：
aaa,3
bb,1
ccc,0
ddd,1
这种结果，请指点

我是一隻羊

1. awk 'function m(x){for(i in a){x~a[i]?b[i]++:1}}NR==FNR{a[NR]=$0;next}{m($0)}END{for(j in b) print "Row "j" String "a[j]" Count "b[j]}' inputfile1 inputfile2

复制代码

zsszss0000

1. awk -vFS=","' NR==FNR{a[$1]=1;next}{for(i in a ){if($0~i)b[$0]++}}END{for (i in b)print i,b[i] }' filea fileb | sort

复制代码

回复 6# zbs168


awk -vFS=","' NR==FNR{a[$1]=1;next}


   

我是一隻羊

回复 6# zbs168

1. awk -F'[(),]' 'NR==FNR{a[$1]=NR;next}{($2 in a)?b[$2]++:1}END{for(i in b)print i,b[i]}' inputfile1 inputfile2

复制代码

聆雨淋夜

回复 9# 我是一隻羊
($2 in a)?b[$2]++:1
这是啥意思