请教:awk分析nginx日志问题

shreychen

最近需要分析nginx日志，尝试了下awk脚本，求推荐awk学习资料，网上的比较零散

1. #!/usr/bin/awk -f
   
2. 
   
3. BEGIN{
   
4.     FS="^A";
   
5. }
   
6. {
   
7.         httpcode[$5]++;
   
8.         if ($5 != 200){
   
9.                 split($11,upstreams,", ");
   
10.                 for (key in upstreams){
    
11.                         ups=upstreams[key];
    
12.                         upstream[ups]++;
    
13.                 }
    
14.         }
    
15. }
    
16. END{
    
17.         for (code in httpcode) print httpcode[code],code;
    
18.         for (ups in upsteam) print upsteam[ups],ups;
    
19. }

复制代码

for (ups in upsteam) print upsteam[ups],ups;  不明白这个为啥没起作用

nginx日志样本

1. 16/Jun/2014:09:53:40 +0800^A192.168.0.44^A-^AGET /search?dtype=news&duid=bd4d7010aee44b1b&tid=desc&q=0 HTTP/1.1^A200^A34080^A-^AMozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.0.3705; .NET CLR 1.1.4322; Media Center PC 4.0)^A-^A0.016^A192.168.201.90:8888^A0.016
   
2. 16/Jun/2014:09:53:40 +0800^A192.168.0.44^A-^AGET /search?dtype=pubnote&duid=10b91cc33c6d74a2&tid=desc&q=0 HTTP/1.1^A200^A2123^A-^AMozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; .NET CLR 1.0.3705; .NET CLR 1.1.4322; Media Center PC 4.0)^A-^A0.013^A192.168.201.87:8888^A0.013
   
3. 16/Jun/2014:09:53:40 +0800^A192.168.0.55^A-^APOST /cm?type=dynamicdict HTTP/1.1^A200^A126^A-^AJakarta Commons-HttpClient/3.1^A-^A0.005^A192.168.201.191:19850, 192.168.201.192:19850^A0.100, 0.005
   
4. 16/Jun/2014:09:53:40 +0800^A192.168.0.53^A-^APOST /search HTTP/1.1^A200^A5950^A-^AJakarta Commons-HttpClient/3.1^A-^A0.143
   
5. ^A192.168.201.87:8888^A0.143

复制代码

todayhero

@shreychen

这个要看不懂，用awk分析nginx估计有难度。

for (ups in upsteam) print upsteam[ups],ups;

打印以ups为下标的数组upsteam值

shreychen

todayhero 发表于 2014-06-17 17:14
@shreychen

这个要看不懂，用awk分析nginx估计有难度。

不知道 upstream 这个数组为什么是空的

todayhero

@shreychen


别研究了，你想统计什么，让大家帮你写吧。

zhleiling

确认一下你日志里的httpcode是不是都是200吧？至少从样本里看都是200

Shell_HAT

O'Reilly sed & awk 2nd Edition 英文版
http://bbs.chinaunix.net/viewthread.php?tid=1588614#pid11286082

O'Reilly sed & awk 2nd Edition 中文高清修订第3版
http://bbs.chinaunix.net/thread-1743038-1-1.html

shreychen

回复 6# Shell_HAT

收藏了，and thx very much

   

shreychen

zhleiling 发表于 2014-06-17 17:42
确认一下你日志里的httpcode是不是都是200吧？至少从样本里看都是200

就是因为有很多非200的才要统计，每天有千万+记录，样本是随便摘取了几行

Herowinter

回复 1# shreychen
入门看这个蛮好的，我就是看这个吧，
1-2个下午就可以看完。
http://man.lupaworld.com/content/manage/ringkee/awk.htm

看了下楼主的代码，楼主需要进阶的啊，忽略这个吧。。。
   

shreychen

回复 4# todayhero

呵呵~ 打算自己折腾下，一直想学学awk来着