*求助* 一个关于日志的分析统计

419015642

1. 报警等级        设备        时间        报警状态        报警方式        联系人
   
2. 告警        主机23        06:02:17        load average:32        短信        zhangsan
   
3. 告警        主机23        06:02:17        load average:32        邮件        zhangsan
   
4. 告警        主机23        06:02:18        load average:32        短信        lisi
   
5. 告警        主机23        06:02:18        load average:32        邮件        lisi       
   
6. 紧急        web服务器        12:30:28        CPU使用率高        短信        zhangsan
   
7. 紧急        web服务器        12:30:30        CPU使用率高        邮件        zhangsan
   
8. 紧急        路由器        14:02:53        RTA=96        短信        lisi
   
9. 紧急        路由器        14:01:53        RTA=96        邮件        lisi
   
10. 紧急        主机23        15:01:33        time out        短信        zhangsan
    
11. 紧急        主机23        15:01:34        time out        邮件        zhangsan
    
12. 紧急        主机23        15:01:34        time out        短信        lisi
    
13. 紧急        主机23        15:01:35        time out        邮件        lisi
    
14. 恢复        主机23        15:05:13        time up        短信        zhangsan
    
15. 恢复        主机23        15:05:13        time up        邮件        zhangsan
    
16. 恢复        主机23        15:05:13        time up        短信        lisi
    
17. 恢复        主机23        15:05:13        time up        邮件        lisi
    
18. 告警        主机23        15:10:33        load average:28        短信        zhangsan
    
19. 告警        主机23        15:10:33        load average:28        邮件        zhangsan
    
20. 告警        主机23        15:10:33        load average:28        短信        lisi
    
21. 告警        主机23        15:10:33        load average:28        邮件        lisi
    
22. 紧急        web服务器        16:20:28        CPU使用率高        短信        zhangsan
    
23. 紧急        web服务器        16:20:28        CPU使用率高        邮件        zhangsan

复制代码

需求：统计报警信息
1：将报警等级分离，过滤"恢复"
2：智能识别 “:和=”后面不显示（如：load load average:28为load average）
3：计算报警次数（例：主机23在6点2分的时候load average报警1次+15点10分的时候load average报警1次）

最终显示结果为：
---------------------------------

1. 报警等级
   
2. 紧急       
   
3. web服务器        CPU使用率高        2次
   
4. 路由器        RTA        1次
   
5. 主机23        time out        1次
   
6. 
   
7. 告警
   
8. 主机23        load average        2次

复制代码

419015642

需求2和需求3 我实在弄不出来，求大神来解救

yinyuemi

回复 1# 419015642

1. awk -F'\t' '$1~/恢复/||NR==1{next}{t=$2 "\t" gensub(/[:=].*$/,"",1,$4)}!a[$1 "\t" $2 "\t" $4]++{b[$1 "\t" t]++;c[$1];d[t]}END{for(i in c){print RS i;for(j in d)if(b[i "\t" j])print j "\t" b[i FS j]}}'
   

复制代码

loveacat

1. $ awk -f awklogfile logfile
   
2. 报警等级
   
3. 紧急
   
4. 主机23  time out        4
   
5. 路由器  RTA     2
   
6. web服务器       CPU使用率高     4
   
7. 告警
   
8. 主机23  load average    8
   
9. 
   
10. BEGIN{print "报警等级";FS="   *"}                      #我粘贴过去显示的是多个空格，如果楼主分隔符是\t 请自行修改
    
11. NR>1{
    
12. sub("[:=].*","",$4)                                             #去掉:=之后
    
13. if($1~/告警/)
    
14. a[$2"\t"$4]++
    
15. if($1~/紧急/)
    
16. b[$2"\t"$4]++
    
17. }
    
18. END{
    
19. print "紧急"                                         #默认只有紧急 回复 告警3种 如果还有别的需要修改代码
    
20. for(i in b)
    
21. print i"\t"b[i]
    
22. print "告警"
    
23. for(i in a)
    
24. print i"\t"a[i]
    
25. }
    

复制代码

419015642

回复 4# loveacat


    非常感谢，已经非常接近了，
可能是我在问题中没有详细解释清楚
报警次数统计不准确 应该是这样
报警等级
紧急        
web服务器        CPU使用率高        2次
路由器        RTA        1次
主机23        time out        1次

告警
主机23        load average        2次
我觉得可以用时间 1分钟以内的就算作是一次报警来作为统计

loveacat

419015642 发表于 2012-03-15 15:22
回复 4# loveacat

1. $ awk -f awklogfile logfile
   
2. 报警等级
   
3. 紧急
   
4. 主机23  time out        1次
   
5. 路由器  RTA     2次                                      #你数据中RTA是14：01和14：02 两次按分钟的话我算了两次
   
6. web服务器       CPU使用率高     2次
   
7. 告警
   
8. 主机23  load average    2次
   
9. 
   
10. $ cat awklogfile
    
11. BEGIN{print "报警等级";FS="   *"}
    
12. NR>1{
    
13. sub("[:=].*","",$4)
    
14. time=substr($3,1,5)
    
15. if($1~/告警/ && !t[time]++ )
    
16. {
    
17.         a[$2"\t"$4]++
    
18. }
    
19. if($1~/紧急/ && !t[time]++ )
    
20. b[$2"\t"$4]++
    
21. }
    
22. END{
    
23. print "紧急"
    
24. for(i in b)
    
25. print i"\t"b[i]"次"
    
26. print "告警"
    
27. for(i in a)
    
28. print i"\t"a[i]"次"
    
29. }
    
30. 
    

复制代码

winway1988

1. [winway@winway test]$ awk -f awkscr urfile
   
2. 报警等级
   
3. 紧急
   
4. 路由器 RTA 1次
   
5. web服务器 CPU使用率高 2次
   
6. 主机23 time out 1次
   
7. 告警
   
8. 主机23 load average 2次
   
9. [winway@winway test]$ cat awkscr
   
10. NR == 1 {
    
11.         print $1;
    
12. }
    
13. 
    
14. NR > 1 && $1 !~ "恢复" {
    
15.         a[$1];
    
16. 
    
17.         gsub(/:/, " ", $3);
    
18.         time = mktime("2012 1 1 " $3); # to fit the mktime(), I choose the date "2012 1 1", nothing important
    
19. 
    
20.         sub(/=[0-9]*$/, "", $4);
    
21. 
    
22.         if (NF == 6)
    
23.                 $5 = "";
    
24.         else if (NF == 7)
    
25.                 sub(/:[0-9]*/, "", $5);
    
26. 
    
27.         for (i in b) {
    
28.                 if (i ~ $1 OFS $2 OFS $4 OFS $5) {
    
29.                         # to compute absolute value
    
30.                         abs_value = (time - b[i]) - (b[i] - time);
    
31.                         abs_value = abs_value > 0 ? abs_value / 2 : (0 - abs_value) / 2;
    
32. 
    
33.                         if (abs_value <= 60) {
    
34.                                 # event occur in one minute, do not add to array
    
35.                                 next;
    
36.                         }
    
37.                 }
    
38.         }
    
39. 
    
40.         b[$1 OFS $2 OFS $4 OFS $5 ":" time] = time;
    
41. }
    
42. 
    
43. END {
    
44.         for (i in b) {
    
45.                 sub(/[ \t]*:[0-9]*/, "", i); # delete time str
    
46.                 c[i]++;
    
47.         }
    
48. 
    
49.         for (j in a) {
    
50.                 print j;
    
51.                 for (k in c) {
    
52.                         if (k ~ j) {
    
53.                                 temp = k;
    
54.                                 sub(/^[^ ]* /, "", temp);
    
55.                                 print temp, c[k] "次";
    
56.                         }
    
57.                 }
    
58.         }
    
59. }

复制代码