每天5G的nginx日志，需要怎么分析?

yu34po

回复 20# expert1


   汗。比较高深，不会，这玩意现在咋办啊/现在统计的结果不对，还要输出到文件。。

yestreenstars

回复 19# yu34po
我用你的测试数据能得到结果啊~

1. [root@localhost ~]# ./a i
   
2. appid:  7cfdf9
   
3. times:  1
   
4. areaid: 101243506
   
5. type:   observe
   
6. 
   
7. appid:  7fde98
   
8. times:  1
   
9. areaid: 329103324
   
10. type:   observe
    
11. 
    
12. 61.4.184.91 1
    
13. 61.4.184.92 1
    
14. [root@localhost ~]#

复制代码

yu34po

回复 22# yestreenstars
为啥我这是图里边贴的结果?


   

yu34po

回复 22# yestreenstars


    要不我给你个10M的数据?我这测试出来结果好像不行。。

yu34po

回复 22# yestreenstars


    我明白了，那个数据里面还有类似这样的数据。
61.4.184.83 - - [05/Dec/2013:00:10:13 +0800] "GET / 403 169" "_" "_" _
那些字段是缺失的。

yestreenstars

回复 25# yu34po
特例要如何处理？

   

yu34po

回复 26# yestreenstars

先直接丢了吧。那些没抓取到的也没什么意义，哎高手我能加你个Q嘛
    对了，输出重定向放到文件中么？新手毫无头绪啊。。。

yestreenstars

回复 27# yu34po
加个限定条件吧，输出重定向到新文件~

1. #!/bin/awk -f
   
2. 
   
3. /appid/&&/areaid/&&/type/{
   
4.         appid=gensub(/.*appid=([^&]*).*/,"\\1",1);
   
5.         areaid=gensub(/.*areaid=([^&]*).*/,"\\1",1);
   
6.         type=gensub(/.*type=([^&]*).*/,"\\1",1);
   
7.         IP=$1;
   
8. 
   
9.         a[appid]++;
   
10.         if(!x[appid,areaid]++)b[appid]=b[appid]?b[appid]" "areaid:areaid;
    
11.         if(!y[appid,type]++)c[appid]=c[appid]?c[appid]" "type:type;
    
12.         d[IP]++;
    
13. }
    
14. 
    
15. END{
    
16.         for(i in a)printf "appid:\t%s\ntimes:\t%d\nareaid:\t%s\ntype:\t%s\n\n",i,a[i],b[i],c[i];
    
17.         for(i in d)print i,d[i];
    
18. }

复制代码

yu34po

回复 28# yestreenstars


    这个比较厉害，

yu34po

回复 28# yestreenstars


    能用perl写一个吗?这个MS有点慢。。