/var/log/messages的处理

liyichenbeu

新人第一次发帖求助
在处理messages时候遇到了问题；
需求是不考虑时间，重复的错误只显示一次，我的做法是：

1. cat /var/log/messages |egrep "error|fail|move" |cut -c 17- |sort |uniq -c

复制代码

这样大概的输出是：

      4 pxe-suse mcelog: Family 6 Model 4e CPU: only decoding architectural errors
      1 pxe-suse sftp-server[29778]: error: Unknown extended request "fs-multiple-roots-supported@vandyke.com"
      1 pxe-suse sftp-server[29778]: error: Unknown extended request "openex@vandyke.com"
      1 pxe-suse sftp-server[29778]: error: Unknown extended request "vendor-id"
      1 pxe-suse sftp-server[5877]: error: Unknown extended request "fs-multiple-roots-supported@vandyke.com"
      1 pxe-suse sftp-server[5877]: error: Unknown extended request "openex@vandyke.com"
      1 pxe-suse sftp-server[5877]: error: Unknown extended request "vendor-id"

这样同时也能统计出重复次数，但现在问题是，这样就不能显示每条错误之前的时间了。
怎么做才能显示出每条错误的时间，对于重复多次的，显示第一次和最后一次的时间。
有没有大神来帮忙。。

wh7211

回复 1# liyichenbeu


文件1内容如下：
Oct 11 08:00:00 aaa 111 111
Oct 12 09:00:00 bbb 222 222 222
Oct 13 10:00:00 pxe-suse mcelog: Family 6 Model 4e CPU: only decoding architectural errors
Oct 13 11:00:00 pxe-suse mcelog: Family 6 Model 4e CPU: only decoding architectural errors
Oct 14 12:00:00 pxe-suse mcelog: Family 6 Model 4e CPU: only decoding architectural errors
Oct 15 13:00:00 pxe-suse mcelog: Family 6 Model 4e CPU: only decoding architectural errors
Oct 15 14:00:00 pxe-suse sftp-server[29778]: error: Unknown extended request "fs-multiple-roots-supported@vandyke.com"
Oct 16 15:00:00 pxe-suse sftp-server[29778]: error: Unknown extended request "openex@vandyke.com"
Oct 16 16:00:00 pxe-suse sftp-server[29778]: error: Unknown extended request "vendor-id"
Oct 16 17:00:00 pxe-suse sftp-server[5877]: error: Unknown extended request "fs-multiple-roots-supported@vandyke.com"
Oct 16 18:00:00 pxe-suse sftp-server[5877]: error: Unknown extended request "openex@vandyke.com"
Oct 16 19:00:00 pxe-suse sftp-server[5877]: error: Unknown extended request "vendor-id"
Oct 16 20:00:00 ccc 333 333 333 333
Oct 16 21:00:00 ddd 444 444 444 444 444

awk4.0+

1. awk '/error/{patsplit($0,s,/([0-9]{2}:){2}[0-9]{2}/,t);a[t[1]]++;if(!b[t[1]]++){c[t[1]]=t[0]s[1]};d[t[1]]=t[0]s[1]}END{PROCINFO["sorted_in"]="@val_num_asc";for(i in c){print c[i]" | "d[i],a[i],i}}' 1

复制代码

1. awk '/error/{y="^(.*([0-9]{2}:){2}[0-9]{2}) +(.*)$";match($0,y,t);a[t[3]]++;if(!b[t[3]]++){c[t[3]]=t[1]};d[t[3]]=t[1]}END{PROCINFO["sorted_in"]="@val_num_asc";for(i in c){print c[i]" | "d[i],a[i],i}}' 1

复制代码

输出按开始时间升续排列：
Oct 13 10:00:00 | Oct 15 13:00:00 4 pxe-suse mcelog: Family 6 Model 4e CPU: only decoding architectural errors
Oct 15 14:00:00 | Oct 15 14:00:00 1 pxe-suse sftp-server[29778]: error: Unknown extended request "fs-multiple-roots-supported@vandyke.com"
Oct 16 15:00:00 | Oct 16 15:00:00 1 pxe-suse sftp-server[29778]: error: Unknown extended request "openex@vandyke.com"
Oct 16 16:00:00 | Oct 16 16:00:00 1 pxe-suse sftp-server[29778]: error: Unknown extended request "vendor-id"
Oct 16 17:00:00 | Oct 16 17:00:00 1 pxe-suse sftp-server[5877]: error: Unknown extended request "fs-multiple-roots-supported@vandyke.com"
Oct 16 18:00:00 | Oct 16 18:00:00 1 pxe-suse sftp-server[5877]: error: Unknown extended request "openex@vandyke.com"
Oct 16 19:00:00 | Oct 16 19:00:00 1 pxe-suse sftp-server[5877]: error: Unknown extended request "vendor-id"

william_djj

回复 1# liyichenbeu

mes.awk脚本如下

1. /error|fail/{       time="";
   
2.         error="";
   
3.         for(i=1;i<=3;++i)
   
4.         {
   
5.                 time=(time" "$i);
   
6.         }
   
7. 
   
8.         for(i=4;i<=NF;++i)
   
9.         {
   
10.                 error=(error" "$i);
    
11.         }
    
12.         if(start[error]=="")
    
13.                 start[error]=time;
    
14.         else
    
15.                 end[error]=time;
    
16. }
    
17. END{    for(i in start)
    
18.                 {
    
19.                         print start[i], i;
    
20.                         if(end[i])
    
21.                                 print end[i], i;
    
22.                 }
    
23. }
    

复制代码

运行：
awk -f mes.awk /var/log/messages

liyichenbeu

回复 2# wh7211

谢谢！这个可真是长啊，但是我执行时候出现问题了，出现如下提示：

awk: warning: regexp constant for parameter #3 yields boolean value
awk: (FILENAME=1 FNR=116) fatal: function `patsplit' not defined

如果可以讲的话，可否讲一下您的思路？

liyichenbeu

回复 2# wh7211

谢谢！这个可真是长啊，但是我执行时候出现问题了，出现如下提示：

awk: warning: regexp constant for parameter #3 yields boolean value
awk: (FILENAME=1 FNR=116) fatal: function `patsplit' not defined

如果您有时间的话，可否方便讲一下您的思路？

liyichenbeu

回复 2# wh7211

真的很谢谢！这个可真是长啊，但是我执行时候出现问题了，出现如下提示：

awk: warning: regexp constant for parameter #3 yields boolean value
awk: (FILENAME=1 FNR=116) fatal: function `patsplit' not defined

如果您有时间的话，方便讲一下思路吗？

liyichenbeu

回复 2# wh7211

真的很谢谢！这个可真是长啊，但是我执行时候出现问题了，出现如下提示：

awk: warning: regexp constant for parameter #3 yields boolean value
awk: (FILENAME=1 FNR=116) fatal: function `patsplit' not defined

如果您有时间的话，方便讲一下思路吗？

liyichenbeu

回复 3# william_djj

谢谢！执行后输出似乎并没有过滤出error，而且时间顺序似乎比较混乱，方便的话，能否讲一下您的思路？谢谢！

william_djj

回复 8# liyichenbeu

再改了下， 第一行加入/error|fail/就是过滤了。按你要求，每个错误最多只有两条输出，分别用start和end数组记录下来，end数组取的是最后出现那条错误。

wh7211

回复 4# liyichenbeu


出现这个报错是因为你的awk版本过低导致的，你可以升级awk版本到4.0+，下面命令显示awk版本号。
awk --version
GNU Awk 4.1.3, API: 1.1

如果无法升级awk版本，可以使用如下代码，不过没有顺序输出：

1. awk --re-interval '/error/{y="^(.*([0-9]{2}:){2}[0-9]{2}) +(.*)$";match($0,y,t);a[t[3]]++;if(!b[t[3]]++){c[t[3]]=t[1]};d[t[3]]=t[1]}END{for(i in c){print c[i]" | "d[i],a[i],i}}' 1

复制代码

输出：
Oct 16 18:00:00 | Oct 16 18:00:00 1 pxe-suse sftp-server[5877]: error: Unknown extended request "openex@vandyke.com"
Oct 16 17:00:00 | Oct 16 17:00:00 1 pxe-suse sftp-server[5877]: error: Unknown extended request "fs-multiple-roots-supported@vandyke.com"
Oct 16 19:00:00 | Oct 16 19:00:00 1 pxe-suse sftp-server[5877]: error: Unknown extended request "vendor-id"
Oct 15 14:00:00 | Oct 15 14:00:00 1 pxe-suse sftp-server[29778]: error: Unknown extended request "fs-multiple-roots-supported@vandyke.com"
Oct 16 15:00:00 | Oct 16 15:00:00 1 pxe-suse sftp-server[29778]: error: Unknown extended request "openex@vandyke.com"
Oct 13 10:00:00 | Oct 15 13:00:00 4 pxe-suse mcelog: Family 6 Model 4e CPU: only decoding architectural errors
Oct 16 16:00:00 | Oct 16 16:00:00 1 pxe-suse sftp-server[29778]: error: Unknown extended request "vendor-id"

简单解释一下：

1. a[t[3]]++ 统计错误信息出现的次数
   
2. c[t[3]] 错误信息第一次出现的时间
   
3. d[t[3]] 错误信息最后一次出现的时间
   
4. print c[i]" | "d[i],a[i],i 打印错误信息第一次出现的时间，最后一次出现的时间，出现的次数，内容

复制代码