awk 新手求助

lcqlegend

怎么将 几个G的文件中
[tc134] 2011-08-22 14:25:18,511 remoteIp:61.172.201.133,uri:/users/show.json,source:2400730949webError---httpCode:403,errorCode:40302,msg:Error: auth faild!

[tc134] 2011-08-22 14:25:18,521 remoteIp:202.106.182.237,uri:/friendships/show.json,source:957828114webError---httpCode:400,errorCode:40033,msg:Error: source_user or ta
rget_user does not exists!

[tc134] 2011-08-22 14:25:18,562 remoteIp:116.226.43.208,uri:/account/verify_credentials.json,source:1224861115webError---httpCode:403,errorCode:40302,msg:Error: auth fa
ild!

[tc134] 2011-08-22 14:25:18,611 remoteIp:113.71.16.72,uri:/oauth/access_tokenwebError---httpCode:403,errorCode:40313,msg:Error: invalid weibo user!

[tc134] 2011-08-22 14:25:18,630 remoteIp:182.115.232.173,uri:/account/verify_credentials.json,source:1224861115webError---httpCode:403,errorCode:40302,msg:Error: auth f
aild!

[tc134] 2011-08-22 14:25:18,632 remoteIp:220.181.136.229,uri:/emotions.jsonwebError---httpCode:400,errorCode:40022,msg:Error: source paramter(appkey) is missing

统计 errorCode 数量 效率比较高的 程序

mpstat

sed -rn 's/errorCode.+)/\1/'

lcqlegend

回复 2# mpstat


    这个  sed -rn 's/errorCode.+)/\1/'   是都替换成 1 ？？ 是计数吗？

lcqlegend

置顶

mpstat

回复 3# lcqlegend


    不好意思写错了，没看清楚
    sed -rn 's/.+errorCode.+),.+/\1/p'

   但是这个速度会非常慢,正则表达式效率不够高
   egrep -o 'errorCode:[0-9]{5}' file  可能效率会高点，但grep好像不支持否定肯定还视，不知道怎么去掉那个errorCode

lcqlegend

回复 5# mpstat


    哦，感谢 ，我再研究研究，谢谢！！

rdcwayx

顺着上面的思路，要知道数量的话：

sed -rn 's/.+errorCode.+),.+/\1/p' infile |sort |uniq -c |sort -n
或者
grep -Eo 'errorCode:[0-9]+' infile |sort |uniq -c |sort -n

当然这个可以用awk一次搞定， 效率应该算是高的
awk -v RS="," '/^errorCode/{a[$1]++}END{for (i in a) print a[i],i |"sort -n"}' infile