按照半小时为节点统计log

dabing12130

log

log的格式如图所示，对应字段解释为 时间|ip|uid|接口|返回码|耗时ms|入流量|出流量
现需求如下：30分钟为单位，一天分割成48个单位，统计30分钟内流量大小，流量是入流量和出流量的总和
日志中的时间格式如下所示
1.       00：00：00-----00：29：59
...
48.     23:30:00------23:59:59   

我现在的问题是不知道怎么处理时间？谢谢

dabing12130

给个log文件方便各位大大做测试，在线等！

关阴月飞

手机写代码未测试:

1. awk -F\| '{split($1,a,":| ");n=a[3]<30?a[2]*2+1:a[2]*2+2;b[a[1],n]+=($7+$8)}END{for(i in b)print i,b[i]}' urfile

复制代码

dabing12130

按照楼上大大命令执行的结果如下：
2014-06-20 45 1983653360
2014-06-20 27 1819663913
2014-06-19 47 289522
2014-06-20 37 1921587360
2014-06-20 19 2301751035
2014-06-20 47 1872584738
2014-06-20 29 1696229116
2014-06-20 39 1835831772
2014-06-20 1 1340296113
2014-06-20 11 378667757
2014-06-20 3 634310519
2014-06-20 21 1689834513
2014-06-20 31 1458833069
2014-06-20 13 898379901
2014-06-20 5 386975977
2014-06-20 41 1915777882
2014-06-20 23 1565600290
2014-06-20 33 1566018193
2014-06-20 15 1373314312
2014-06-20 7 364810684
2014-06-20 43 2189732326
2014-06-20 25 1952754712
2014-06-20 35 1659971484
2014-06-20 17 1429052397
2014-06-20 9 254111193

这个结果不对，看不懂第二个字段表示什么意思，第三行还有2014-06-19的数据，我希望得到的结果是
2014-06-20  00：00：00-00：29：59    流量大小(入流量+出流量)/1024
2014-06-20  00：30：00-00：59：59    流量大小(入流量+出流量)/1024
.........
2014-06-20  23：30：00-23：59：59   流量大小(入流量+出流量)/1024
就是把对应的时间范围打印出来，谢谢!

zerostudy

以下我做的是苦力活，肯定可以有简单的方法。有空再看看。

楼主你自己对一下结果，看对不对。

另外要注意的：hour=0;min=11 是有要求的，表示你的文件的第一行的小时与分钟的值。

1. 
   
2. BEGIN{FS="|";all=0;hour=0;min=11;}
   
3. {
   
4. split($1,sj," |:");
   
5. if(hour-sj[2]==0)
   
6. {
   
7.   if (sj[3]<30)
   
8.         {
   
9.                 if(min>30)
   
10.                         {
    
11.                                 print sj[1] " "hour":30-"hour":59 流量大小："all/1024;
    
12.                                 all=0;
    
13.                         }
    
14.                 all+=$NF+$(NF-1);
    
15.         } else {
    
16.                 if (min < 30)
    
17.                         {
    
18.                                 print sj[1] " "hour":00-"hour":29 流量大小："all/1024;
    
19.                                 all=0;
    
20.                         }
    
21.                 all+=$NF+$(NF-1);
    
22. 
    
23.         }
    
24. }else{
    
25.         if (min < 30)
    
26.                 {
    
27.                         print sj[1] " "hour":00-"hour":29 流量大小："all/1024;
    
28.                         all=0;
    
29.                 }else{
    
30.                         print sj[1] " "hour":30-"hour":59 流量大小："all/1024;
    
31.                         all=0;
    
32.                 }
    
33. 
    
34. }
    
35. hour=sj[2];
    
36. min=sj[3];
    
37. rq=sj[1];
    
38. 
    
39. }
    
40. 
    
41. END{
    
42.         if (min < 30)
    
43.                 {
    
44.                         print rq " "hour":00-"hour":29 流量大小："all/1024;
    
45.                         all=0;
    
46.                 }else{
    
47.                         print rq " "hour":30-"hour":59 流量大小："all/1024;
    
48.                         all=0;
    
49.                 }
    
50. }

复制代码

结果如下：

1. [root@localhost awk]# awk -f my.awk access.log.txt
   
2. 2014-06-17 00:00-00:29 流量大小：1109.18
   
3. 2014-06-17 06:30-06:59 流量大小：288.408
   
4. 2014-06-17 07:00-07:29 流量大小：593.815
   
5. 2014-06-17 07:30-07:59 流量大小：3164.55
   
6. 2014-06-17 08:00-08:29 流量大小：100530
   
7. 2014-06-17 08:30-08:59 流量大小：196155
   
8. 2014-06-17 09:00-09:29 流量大小：929.029
   
9. 2014-06-17 09:30-09:59 流量大小：1137.03
   
10. 2014-06-17 10:00-10:29 流量大小：3062.69
    
11. 2014-06-17 10:30-10:59 流量大小：4095.42
    
12. 2014-06-17 11:00-11:29 流量大小：3578.38
    
13. 2014-06-17 11:30-11:59 流量大小：4338.1
    
14. 2014-06-17 12:00-12:29 流量大小：1795.5
    
15. 2014-06-17 12:30-12:59 流量大小：13716.2
    
16. 2014-06-17 13:00-13:29 流量大小：4060.81
    
17. 2014-06-17 13:30-13:59 流量大小：7169.07
    
18. 2014-06-17 14:00-14:29 流量大小：8107.75
    
19. 2014-06-17 14:30-14:59 流量大小：3082.75
    
20. 2014-06-17 15:00-15:29 流量大小：6076.31
    
21. 2014-06-17 15:30-15:59 流量大小：8196
    
22. 2014-06-17 16:00-16:29 流量大小：2572.39
    
23. 2014-06-17 16:30-16:59 流量大小：10273.1
    
24. 2014-06-17 17:00-17:29 流量大小：11470.6
    
25. 2014-06-17 17:30-17:59 流量大小：1522.69
    
26. 2014-06-17 18:00-18:29 流量大小：5076.8
    
27. 2014-06-17 18:30-18:59 流量大小：5536.2
    
28. 2014-06-17 19:00-19:29 流量大小：3216.41
    
29. 2014-06-17 19:30-19:59 流量大小：8687.79
    
30. 2014-06-17 20:00-20:29 流量大小：5130.82
    
31. 2014-06-17 20:30-20:59 流量大小：2171.14
    
32. 2014-06-17 21:00-21:29 流量大小：2022.52
    
33. 2014-06-17 21:30-21:59 流量大小：4327.62
    
34. 2014-06-17 22:00-22:29 流量大小：497.061

复制代码

关阴月飞

dabing12130 发表于 2014-06-21 11:25
一天分割成48个单位，统计30分钟内流量大小，

第二列就是时间段顺序呀：
按你说的这种得到的：

日志中的时间格式如下所示

1.       00：00：00-----00：29：59
...
48.     23:30:00------23:59:59   

关阴月飞

回复 4# dabing12130


    按照你的格式改了一下：

1. awk -F\| '{split($1,a,":| ");n=a[3]<30?a[2]":00-"a[2]":29":a[2]":30-"a[2]":59";b[a[1]" "n]+=($7+$8)}END{for(i in b)print i,b[i]/1024 |"sort -k2n"}' access.log.txt

复制代码

1. 
   
2. [root@ awktest]# awk -F\| '{split($1,a,":| ");n=a[3]<30?a[2]":00-"a[2]":29":a[2]":30-"a[2]":59";b[a[1]" "n]+=($7+$8)}END{for(i in b)print i,b[i]/1024|"sort -k2n"}' access.log.txt
   
3. 2014-06-17 00:00-00:29 1109.18
   
4. 2014-06-17 06:30-06:59 289.758
   
5. 2014-06-17 07:00-07:29 595.163
   
6. 2014-06-17 07:30-07:59 3164.55
   
7. 2014-06-17 08:00-08:29 100532
   
8. 2014-06-17 08:30-08:59 196155
   
9. 2014-06-17 09:00-09:29 981.336
   
10. 2014-06-17 09:30-09:59 1137.03
    
11. 2014-06-17 10:00-10:29 3128.68
    
12. 2014-06-17 10:30-10:59 4095.42
    
13. 2014-06-17 11:00-11:29 3614.16
    
14. 2014-06-17 11:30-11:59 4338.1
    
15. 2014-06-17 12:00-12:29 1819.92
    
16. 2014-06-17 12:30-12:59 13716.2
    
17. 2014-06-17 13:00-13:29 4108.91
    
18. 2014-06-17 13:30-13:59 7169.07
    
19. 2014-06-17 14:00-14:29 8109.01
    
20. 2014-06-17 14:30-14:59 3082.75
    
21. 2014-06-17 15:00-15:29 6076.31
    
22. 2014-06-17 15:30-15:59 8196
    
23. 2014-06-17 16:00-16:29 2629.54
    
24. 2014-06-17 16:30-16:59 10273.1
    
25. 2014-06-17 17:00-17:29 11528.1
    
26. 2014-06-17 17:30-17:59 1522.69
    
27. 2014-06-17 18:00-18:29 5115.04
    
28. 2014-06-17 18:30-18:59 5536.2
    
29. 2014-06-17 19:00-19:29 3217.77
    
30. 2014-06-17 19:30-19:59 8687.79
    
31. 2014-06-17 20:00-20:29 5167.65
    
32. 2014-06-17 20:30-20:59 2171.14
    
33. 2014-06-17 21:00-21:29 2065.05
    
34. 2014-06-17 21:30-21:59 4327.62
    
35. 2014-06-17 22:00-22:29 547.884
    
36. 2014-06-17 22:30-22:59 2057.86

复制代码

dabing12130

感谢两位大大，都可以拿到的结果，文件比较大的话，我估计效率不太高，我现在log大小大概在300多M，感觉就要几十秒。

zerostudy

回复 7# 关阴月飞


    学习了。

关阴月飞

回复 8# dabing12130


    日志文件做好切割，就能防止文件过大......