shell过滤日志记录【急救啊】---结贴了，作为经验大家看看吧

xuke1668

日志格式如下：

1. Feb 27 14:15:33 10.13.1.2  Feb 27 14:18:48.857 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_DN: Changed interface state to down: Gi 4/3
   
2. Feb 27 14:15:35 10.13.1.2  Feb 27 14:18:51.333 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_UP: Changed interface state to up: Gi 4/3
   
3. Feb 27 14:15:38 10.13.1.2  Feb 27 14:18:54.716 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_DN: Changed interface state to down: Gi 4/3
   
4. Feb 27 14:15:41 10.13.1.2  Feb 27 14:18:57.204 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_UP: Changed interface state to up: Gi 4/3
   
5. Feb 27 14:16:56 10.13.1.2  Feb 27 14:20:12.471 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_DN: Changed interface state to down: Gi 4/15
   
6. Feb 27 14:19:14 10.13.1.2  Feb 27 14:22:28.294 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_DN: Changed interface state to down: Gi 4/4
   
7. Feb 27 14:19:16 10.13.1.2  Feb 27 14:22:30.888 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_UP: Changed interface state to up: Gi 4/4
   
8. Feb 27 14:19:43 10.13.1.2  Feb 27 14:22:57.424 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_UP: Changed interface state to up: Gi 4/15
   
9. Feb 27 14:19:55 10.13.1.2  Feb 27 14:23:09.518 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_DN: Changed interface state to down: Gi 6/28
   
10. Feb 27 14:19:57 10.13.1.2  Feb 27 14:23:12.82 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_UP: Changed interface state to up: Gi 6/28
    
11. Feb 27 14:21:53 10.13.1.2  Feb 27 14:25:07.798 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_DN: Changed interface state to down: Gi 6/28
    
12. Feb 27 14:21:56 10.13.1.2  Feb 27 14:25:10.379 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_UP: Changed interface state to up: Gi 6/28
    
13. Feb 27 14:22:45 10.13.1.2  Feb 27 14:25:59.899 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_DN: Changed interface state to down: Gi 4/3
    
14. Feb 27 14:22:48 10.13.1.2  Feb 27 14:26:02.490 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_UP: Changed interface state to up: Gi 4/3
    
15. Feb 27 14:23:23 10.13.1.2  Feb 27 14:26:38.221 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_DN: Changed interface state to down: Gi 6/28
    
16. Feb 27 14:23:26 10.13.1.2  Feb 27 14:26:41.32 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_UP: Changed interface state to up: Gi 6/28
    
17. Feb 27 14:23:36 10.13.1.2  Feb 27 14:26:50.753 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_DN: Changed interface state to down: Gi 6/31  
    
18. Feb 27 14:23:41 10.13.1.2  Feb 27 14:26:55.948 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_DN: Changed interface state to down: Gi 6/26
    
19. Feb 27 14:23:43 10.13.1.2  Feb 27 14:26:57.725 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_UP: Changed interface state to up: Gi 6/26
    
20. Feb 27 14:23:45 10.13.1.2  Feb 27 14:26:59.701 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_DN: Changed interface state to down: Gi 6/29
    
21. Feb 27 14:23:47 10.13.1.2  Feb 27 14:27:01.860 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_UP: Changed interface state to up: Gi 6/29
    
22. Feb 27 14:24:00 10.13.1.2  Feb 27 14:27:15.158 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_DN: Changed interface state to down: Gi 6/28
    
23. Feb 27 14:24:03 10.13.1.2  Feb 27 14:27:17.748 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_UP: Changed interface state to up: Gi 6/28
    
24. Feb 27 14:24:11 10.13.1.2  Feb 27 14:27:26.61 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_DN: Changed interface state to down: Gi 6/28
    
25. Feb 27 14:24:14 10.13.1.2  Feb 27 14:27:28.796 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_UP: Changed interface state to up: Gi 6/28

复制代码

第一个时间是检测服务器上的时间，每分钟会去交换机检测端口状态，
第二个时间是交换机上的时间，精确到毫秒
最后一个字段是交换机端口


怎样用shell找出一分钟之内同一个端口down然后又up了的记录！同一个端口！一分钟以内！down然后又up（网络小波动）!
用awk？什么什么的
求救啊！


我是个shell盲道，前几天才从论坛下了本书看着呢，主管把这练习作业都给我一个月了，然后他实在忍不住就给我了个《awk&sed3》的电子书，告诉我用awk能解决，让我看。
但是我正在艰难的看，还请大家给个思路吧，或者把代码给我也行啊



---------------------------------------------昏割线-----------------------------------------------------------------

------------------------------------结贴了，采用的脚本如下----------------------------------------------------------

1. #!/bin/bash
   
2. awk '/Gi/{time=$5 FS $6 FS $7;                                    #因为日志里有好多个交换机记录，/Gi/匹配这一个交换的（上面日志中没给出其他的，手动过滤了）
   
3.         ("date -d \""time"\" +%s") | getline epoc;
   
4.         status=$(NF-2) FS $NF;
   
5.         down="down:" FS $NF;
   
6.         a[status]=epoc;
   
7.         b[status]=$0;
   
8.         if (($(NF-2)~/up/)&&a[down]+0>0&&(a[status]-a[down]<=60))
   
9.             {
   
10.             print b[down]
    
11.             print b[status];
    
12.             delete a[status];
    
13.             delete b[status];
    
14.             delete a[down];
    
15.             delete b[down]
    
16.             }
    
17. }' sw.log >guolv
    
18. grep -v -f guolv sw.log >new.log                                 #比较要过滤掉的内容和源内容，输出新的日志
    
19. rm -f guolv

复制代码

-----------------------------------详细介绍请看12楼-----------------------------------------------------------



-----------------------------------------严重感谢版主  rdcwayx  ----------------------------------------------

rdcwayx

最后一列是端口号吗？　还有每行前面两个时间，用哪个做判断啊？

rdcwayx

你的date 支持 -d 选项吗？ 比如

1. $ date -d "Feb 27 13:56:31" +%s
   
2. 1330311391

复制代码

这样的话，你的日志可以变成如下格式，是否处理起来方便些？

1. 1330311391 10.13.1.2 1330311587 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_DN: Changed interface state to down: Gi 4/6
   
2. 1330311394 10.13.1.2 1330311589 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_UP: Changed interface state to up: Gi 4/6
   
3. 1330311617 10.13.1.2 1330311813 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_UP: Changed interface state to up: Gi 4/33
   
4. 1330311664 10.13.1.2 1330311858 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_DN: Changed interface state to down: Gi 4/6
   
5. 1330311667 10.13.1.2 1330311861 GMT: %RPM0-P:CP %IFMGR-5-OSTATE_UP: Changed interface state to up: Gi 4/6

复制代码

loveacat

我没有统计具体的状态，是按每分钟端口的次数来看的，只要出现两次，必然就是up了down的

1. awk -f awklog log|sort
   
2. time:13:56      port:Gi 4/6
   
3. time:14:01      port:Gi 4/6
   
4. time:14:02      port:Gi 4/6
   
5. time:14:03      port:Gi 4/7
   
6. time:14:05      port:Gi 4/7
   
7. time:14:06      port:Gi 4/7
   
8. time:14:07      port:Gi 4/4
   
9. time:14:07      port:Gi 4/7
   
10. time:14:09      port:Gi 4/4
    
11. time:14:11      port:Gi 4/4
    
12. time:14:11      port:Gi 4/6
    
13. 
    
14. $ cat awklog
    
15. {
    
16. port["time:"substr($3,1,5)"\t""port:Gi "$NF]++          #新建了一个port数组，以$3的前2列还有最后一列端口号作为关键字
    
17. }                                                                           #即port[time:13:56    port:Gi 4/6]，如果后面同一分钟还有相应的端口记录，则数组加1
    
18. END{
    
19. for (i in port)
    
20. if(port[i]>1)                                                         #大于1 即1分钟出现了2次端口记录，则端口不是up了down，就是down后up了                                             
    
21. print i
    
22. }
    
23. 
    

复制代码

lastfile

Me也是shell新手呢

xuke1668

回复 2# rdcwayx


    前面一个是监测服务器上的时间，监测服务器每分钟去交换机测一次端口状态
    第二个时间是交换机上的时间，精确到毫秒
    最后一个是交换机上的端口号

xuke1668

rdcwayx 发表于 2012-03-13 18:26
你的date 支持 -d 选项吗？ 比如这样的话，你的日志可以变成如下格式，是否处理起来方便些？

我单独敲这个命令是可以的，但是我把这个命令写在awk脚本里，他就不认识了

xuke1668

loveacat 发表于 2012-03-14 13:31
我没有统计具体的状态，是按每分钟端口的次数来看的，只要出现两次，必然就是up了down的

兄台，我没看懂你这是做了什么，请允许我再说一遍要求：把同一个端口在一分钟之内up又down，或者down又up（就是波动小的记录）的记录过滤掉，然后留下的输出

用你的脚本试试了，跟你输出的一样，但是我没明白是做什么用的，原谅我太笨了，新手中的菜鸟！

howge

昨天看的很蛋疼，今天看来还是依旧~