免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 5701 | 回复: 7

[文本处理] shell怎样实现日志访问流量统计 [复制链接]

论坛徽章:
1
天秤座
日期:2014-11-05 16:54:55
发表于 2014-11-14 15:34 |显示全部楼层
通过shell脚本,怎样实现对日志每30秒进行一次访问量的统计,求指点

论坛徽章:
30
申猴
日期:2014-04-10 09:43:532015年亚洲杯纪念徽章
日期:2015-03-20 14:40:232015亚冠之阿尔纳斯尔
日期:2015-06-02 18:59:042015亚冠之阿尔希拉尔
日期:2015-06-30 15:22:572015亚冠之大阪钢巴
日期:2015-07-20 10:44:332015亚冠之阿尔纳斯尔
日期:2015-10-28 14:57:5215-16赛季CBA联赛之新疆
日期:2015-12-25 10:18:45黑曼巴
日期:2016-06-26 21:39:5315-16赛季CBA联赛之山西
日期:2016-07-25 21:54:2715-16赛季CBA联赛之北京
日期:2016-10-27 12:07:2315-16赛季CBA联赛之八一
日期:2017-07-07 16:39:0915-16赛季CBA联赛之吉林
日期:2017-09-04 12:14:43
发表于 2014-11-14 15:44 |显示全部楼层
回复 1# redhatuser
日志内容是什么?根据什么判断日志的访问量?什么都不说大神们怎么回答啊!


   

论坛徽章:
1
天秤座
日期:2014-11-05 16:54:55
发表于 2014-11-14 15:52 |显示全部楼层
这个是tail 日志出来的结果。根据访问请求来判断,每30秒统计一次


119.250.80.245 - - [14/Nov/2014:15:47:56 +0800] "POST /api.php?s=Account/reg_user_by_3rd HTTP/1.1" 200 190 "-" "Dalvik/1.4.0 (Linux; U; Android 2.3.6; GT-S5830i Build/GINGERBREAD)" "-"
122.94.45.233 - - [14/Nov/2014:15:47:56 +0800] "GET /Public/ccj/js/localstorage_lm.js HTTP/1.1" 200 166 "http://wx.ccj.com/index.php?s=/Product/product_detail/product_id/10000214124&imei=A000004338FD33&version=2.5.8" "Mozilla/5.0 (Linux; U; Android 4.1.1; zh-cn; HUAWEI C8813 Build/HuaweiC8813) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30" "-"
175.51.64.56 - - [14/Nov/2014:15:47:56 +0800] "POST /sqe.php?s=/User/ajax_reset_password HTTP/1.1" 200 27 "http://wx.ccj.com/index.php?s=/User/reset_pwd/phoneNumber/13538987577/verfiyCode/600376&imei=359357054518205&version=2.5.9" "Mozilla/5.0 (Linux; U; Android 4.3; zh-cn; SM-G3502I Build/JLS36C) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30" "-"
117.176.187.141 - - [14/Nov/2014:15:47:57 +0800] "GET /index.php?s=/Product/product_detail/product_id/100001693&imei=863216024591446&version=2.5.9 HTTP/1.1" 200 86098 "-" "Mozilla/5.0 (Linux; U; Android 4.2.2; zh-cn; R829T Build/JDQ39) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30" "-"
175.51.64.56 - - [14/Nov/2014:15:47:57 +0800] "POST /sqe.php?s=/User/ajax_reset_password HTTP/1.1" 200 27 "http://wx.ccj.com/index.php?s=/User/reset_pwd/phoneNumber/13538987577/verfiyCode/600376&imei=359357054518205&version=2.5.9" "Mozilla/5.0 (Linux; U; Android 4.3; zh-cn; SM-G3502I Build/JLS36C) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30" "-"
117.176.187.141 - - [14/Nov/2014:15:47:57 +0800] "GET /Public/ccj/js/localstorage_lm.js HTTP/1.1" 200 166 "http://wx.ccj.com/index.php?s=/Product/product_detail/product_id/100001693&imei=863216024591446&version=2.5.9" "Mozilla/5.0 (Linux; U; Android 4.2.2; zh-cn; R829T Build/JDQ39) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30" "-"
175.51.64.56 - - [14/Nov/2014:15:47:57 +0800] "POST /sqe.php?s=/User/ajax_reset_password HTTP/1.1" 200 27 "http://wx.ccj.com/index.php?s=/User/reset_pwd/phoneNumber/13538987577/verfiyCode/600376&imei=359357054518205&version=2.5.9" "Mozilla/5.0 (Linux; U; Android 4.3; zh-cn; SM-G3502I Build/JLS36C) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30" "-"
123.93.27.38 - - [14/Nov/2014:15:47:57 +0800] "GET /index.php?s=Order/view_order_index&imei=862354020023485&version=2.5.8 HTTP/1.1" 200 7033 "-" "Mozilla/5.0 (Linux; U; Android 4.2.2; zh-cn; C803 Build/JDQ39) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30" "-"

论坛徽章:
8
戌狗
日期:2014-09-26 16:39:44水瓶座
日期:2014-10-10 02:06:57金牛座
日期:2014-10-11 23:04:042015亚冠之首尔
日期:2015-06-23 15:37:0015-16赛季CBA联赛之天津
日期:2016-01-22 18:58:2915-16赛季CBA联赛之佛山
日期:2016-05-31 19:18:0815-16赛季CBA联赛之同曦
日期:2016-08-10 16:26:3315-16赛季CBA联赛之辽宁
日期:2018-01-10 11:47:40
发表于 2014-11-14 15:57 |显示全部楼层
你是统计什么   统计单个ip的总量 还是统计页面的总量  还是2个都统计  需求不明

论坛徽章:
1
天秤座
日期:2014-11-05 16:54:55
发表于 2014-11-14 16:00 |显示全部楼层
不按IP,就统计每30秒的总访问量,然后再做一个平均取值。

论坛徽章:
8
戌狗
日期:2014-09-26 16:39:44水瓶座
日期:2014-10-10 02:06:57金牛座
日期:2014-10-11 23:04:042015亚冠之首尔
日期:2015-06-23 15:37:0015-16赛季CBA联赛之天津
日期:2016-01-22 18:58:2915-16赛季CBA联赛之佛山
日期:2016-05-31 19:18:0815-16赛季CBA联赛之同曦
日期:2016-08-10 16:26:3315-16赛季CBA联赛之辽宁
日期:2018-01-10 11:47:40
发表于 2014-11-14 16:08 |显示全部楼层
不按 ip 不按页面  难道按文件行数?

论坛徽章:
1
天秤座
日期:2014-11-05 16:54:55
发表于 2014-11-14 16:18 |显示全部楼层
日志滚动比较快,也比较大,按这种方式统计

论坛徽章:
1
2015亚冠之鹿岛鹿角
日期:2015-05-12 13:04:44
发表于 2014-11-19 21:03 |显示全部楼层
#!/bin/bash
count=$(cat 1.f |wc -l)
while [ true ]
do
         count_new=$(cat 1.txt |wc -l)
         acl=$(( count_new - count ))
         if [ ! -n "$acl" ]
         then
         acl=0
         fi
         echo "acl number is: $acl" >>2.f
         count=$count_new
         fi
         sleep 30
done
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会

【架构革新 高效可控】2020年12月21日-23日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP