【求助】 web日志统计脚本

AmboLong

有如下web日志文件,名为web.log，包含一天的日志
访问时间      
....
....                                                                                                                                   接口       是否成功
2011-08-23 23:58:58,138                         [2011081921422861(confirmReceiveAction,interface1,Y,OK,166ms)
2011-08-23 23:58:58,278                         [2011081921422861(confirmReceiveAction,interface2,Y,OK,66ms)
2011-08-23 23:58:58,338                         [2011081921422861(confirmReceiveAction,interface3,Y,OK,128ms)
2011-08-23 23:58:58,428                         [2011081921422861(confirmReceiveAction,interface1,Y,OK,236ms)
2011-08-23 23:58:58,518                         [2011081921422861(confirmReceiveAction,interface2,Y,OK,177ms)
2011-08-23 23:58:58,338                         [2011081921422861(confirmReceiveAction,interface3,Y,OK,128ms)
2011-08-23 23:58:59,438                         [2011081921422861(confirmReceiveAction,interface3,Y,OK,322ms)
2011-08-23 23:58:59,568                         [2011081921422861(confirmReceiveAction,interface4,Y,OK,133ms)
2011-08-23 23:58:59,698                         [2011081921422861(confirmReceiveAction,interface1,Y,OK,99ms)
2011-08-23 23:58:59,568                         [2011081921422861(confirmReceiveAction,interface4,Y,OK,163ms)
2011-08-23 23:58:59,698                         [2011081921422861(confirmReceiveAction,interface2,Y,OK,96ms)
......
......

是否访问成功，如果是Y，逗号就是OK，如果是N,逗号后就是原因，比如ERROR.最后是接口处理时间毫秒
接口类型有10来种，:interface1、interface2、interface3、interface4...interface10

希望通过脚本统计出其中interface1、interface2、interface3、interface4这4个接口当访问结果为Y时的如下数据：
1、这4个接口每个接口整天的平均处理时间？
2、这4个接口每个接口每秒钟的处理量（并发请求量）
3、这4个接口每个接口并发请求量每多的那一秒的处理量（高峰处理量）？
4、这4个接口每个接口并发请求量每多的那一秒的平均处理时间（高峰期平均处理时间）？

希望通过脚本统计出其中interface1、interface2、interface3、interface4这4个接口当访问结果为N时的如下数据：
1、这4个接口每个接口整天的平均处理时间？
2、这4个接口每个接口每秒钟的处理量（并发请求量）
3、这4个接口每个接口并发请求量每多的那一秒的处理量（高峰处理量）？
4、这4个接口每个接口并发请求量每多的那一秒的平均处理时间（高峰期平均处理时间）？

ywlscpl

回复 1# AmboLong


    好歹你也贴条状态是N的记录啊

AmboLong

回复 2# ywlscpl


不好意思，如下：


....
....                                                             接口            是否成功
2011-08-23 23:58:58,138                         [2011081921422861(confirmReceiveAction,interface1,Y,OK,166ms)
2011-08-23 23:58:58,278                         [2011081921422861(confirmReceiveAction,interface2,Y,OK,66ms)
2011-08-23 23:58:58,338                         [2011081921422861(confirmReceiveAction,interface3,Y,OK,128ms)
2011-08-23 23:58:58,428                         [2011081921422861(confirmReceiveAction,interface1,Y,OK,236ms)
2011-08-23 23:58:58,518                         [2011081921422861(confirmReceiveAction,interface2,Y,OK,177ms)
2011-08-23 23:58:58,638                         [2011081921422861(confirmReceiveAction,interface3,Y,OK,128ms)
2011-08-23 23:58:58,638                         [2011081921422861(confirmReceiveAction,interface5,Y,OK,128ms)
2011-08-23 23:58:58,718                         [2011081921422861(confirmReceiveAction,interface2,N,ERROR1,177ms)
2011-08-23 23:58:59,138                         [2011081921422861(confirmReceiveAction,interface3,Y,OK,322ms)
2011-08-23 23:58:59,268                         [2011081921422861(confirmReceiveAction,interface4,Y,OK,133ms)
2011-08-23 23:58:59,498                         [2011081921422861(confirmReceiveAction,interface1,Y,OK,99ms)
2011-08-23 23:58:59,568                         [2011081921422861(confirmReceiveAction,interface4,Y,OK,163ms)
2011-08-23 23:58:59,698                         [2011081921422861(confirmReceiveAction,interface6,Y,OK,96ms)
2011-08-23 23:58:59,898                         [2011081921422861(confirmReceiveAction,interface6,N,ERROR2,96ms)
......
......

waker

大锅 服务是要钱的
BETTER_ROOT 发表于 2011-08-26 11:01

今天看到的

AmboLong

求高手帮忙啊

AmboLong

回复 4# waker


孩儿他爹，你是俺老偶像了。麻烦帮帮忙。

chenlinbo5588

路过，看到 ，再自己的机器上尝试编写一下楼主要的脚本，不知道能不能成功

chenlinbo5588

1. #!/bin/sh
   
2. 
   
3. if [ "$#" -lt 1 ] ; then
   
4.         echo "Usage ${0} interfacename [y/n]"
   
5. fi
   
6. 
   
7. 
   
8. log_filename="web.log"
   
9. 
   
10. interface_name="interface1,interface2,interface3,interface4,"
    
11. is_find=`echo $interface_name | grep "${1}"`
    
12. 
    
13. find_flag=$2
    
14. 
    
15. tmp=""
    
16. tmp_sec=0
    
17. tmp_line=""
    
18. tmp_time=""
    
19. 
    
20. interface_count=0
    
21. interface_total_time=0
    
22. 
    
23. #echo "is_find value ${is_find}"
    
24. 
    
25. if [ -n "${is_find}" ] ; then
    
26. 
    
27.         if [ -z "${find_flag}" ]; then
    
28.                 find_flag="Y"
    
29.         fi
    
30.        
    
31.         if [ "${find_flag}" = "Y" ] ; then
    
32.                 echo "接口 ${1} 成功统计信息"
    
33.         else
    
34.                 echo "接口 ${1} 失败统计信息"
    
35.         fi
    
36. 
    
37. 
    
38.         #echo "find ,flag ${find_flag}"
    
39.         #i=0
    
40.         for logline in `more "${log_filename}" | grep "${1},${find_flag}"`
    
41.         do
    
42.                 #i=`expr $i + 1`       
    
43.                 #echo "${i} ${logline}"
    
44.                 tmp=""
    
45. 
    
46.                 tmp=`echo ${logline} | grep ${1}`
    
47.                 if [ -z "${tmp}" ] ; then
    
48.                         continue       
    
49.                 fi
    
50. 
    
51.                 tmp_time=`echo $tmp| awk -F, '{print $5}' | sed 's/ms)//'`
    
52.                
    
53.                 #echo $tmp_time
    
54.                
    
55.                 interface_total_time=`expr ${interface_total_time} + ${tmp_time}`
    
56.                 interface_count=`expr ${interface_count} + 1`
    
57.         done
    
58. 
    
59. 
    
60.         #echo "interface_total_time=${interface_total_time}ms, interface_count=${interface_count}"
    
61. 
    
62.         if [ "${interface_count}" != "0" ]; then
    
63.                 tmp=`expr "${interface_total_time}" / "${interface_count}"`
    
64.                 tmp_sec=`expr 1000 / $tmp`
    
65.                 echo "接口 ${1} 总计调用次数 ${interface_count} 次, 总耗时 ${interface_total_time} 平均响应时间 ${tmp}ms, 平均每秒 ${tmp_sec} 次请求"
    
66.         else
    
67.                 echo "接口 调用0次"
    
68.         fi
    
69. 
    
70. else
    
71.         echo "interface name could not find."
    
72.         exit 0;
    
73. fi
    

复制代码

复制代码保持名称为 any_web.sh
增加可执行权限
# chmod +x any_web.sh

调用方式
./any_web.sh interface1 Y

输出
接口 interface1 成功统计信息
接口 interface1 总计调用次数 3 次, 总耗时 501 平均响应时间 167ms, 平均每秒 5 次请求


或者
./any_web.sh interface2 N

输出如下
接口 interface2 失败统计信息
接口 interface2 总计调用次数 1 次, 总耗时 177 平均响应时间 177ms, 平均每秒 5 次请求



只接口了楼主 成功响应 统计需求中 1，2 两个 和失败统计响应中的 1,2 两个需求

3,4 两个需要交为复杂，暂时没有时间弄

yangyang1581

这就得按着逻辑写了｀
你自个写｀出问题｀说出问题帮你解决｀
很少有人会帮你写那么多代码的｀｀