请教:awk分析nginx日志问题

jason680

回复 10# shreychen

upstream

q1208c

如果真有千万+的记录, 你把一个这么大的数组放在内存里. 你的机器有很多内存呀. !!!


顺便说一句, 日志分析这事. 不是awk的强项. 至少, 不是简单可以搞定的. 要不然, hadoop 早就shi光光了.

shreychen

回复 11# jason680
噗......


   

shreychen

回复 12# q1208c

是的，真想好好分析的话awk是不行的，目前只简单统计了下非200响应的次数(总次数统计/按service统计/按client --> service统计)

1. #!/usr/bin/awk -f
   
2. 
   
3. BEGIN{
   
4.     FS="
   ";
   
5.     system("rm -f .httpcode");
   
6.     system("rm -f .upstream");
   
7.     system("rm -f .cip2service");
   
8. }
   
9. {
   
10.         print NR;
    
11.         split($11,upstream_addrs,", ");
    
12.         if ($5 != 200){
    
13.                 httpcode[$5]++;
    
14.             for (idx in upstream_addrs){
    
15.                 ups=upstream_addrs[idx];
    
16.                 upstream[ups]++;
    
17.                 cip2service[$5"_"$2"-->"ups]++;
    
18.             }
    
19.         }
    
20. }
    
21. END{
    
22.         for (code in httpcode) {print code,httpcode[code] >> ".httpcode"};
    
23.     for (ups in upstream) {print upstream[ups],ups >> ".upstream"};
    
24.     for (c2s in cip2service) {print cip2service[c2s],c2s >> ".cip2service"};
    
25. }

复制代码

用户名注册后不能更改

回复 14# shreychen

记得awk中>file并不会一条数据清空一次file。