免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2920 | 回复: 9

[文本处理] awk 分析nginx日志 [复制链接]

论坛徽章:
0
发表于 2012-11-22 16:07 |显示全部楼层
本帖最后由 ljwd1000 于 2012-11-22 16:38 编辑

需求,统计出每个小时出现的访问状态(nginx状态码:例如,200,302,502,504等)次数,要求输出结果格式为:

时间    状态   次数



日志文件格式类似如下,但是nginx的log并没有我贴出的这么整齐
  1. 10.150.82.151 - - [22/Nov/2012:03:02:45 +0900] "POST /m/gashapon/free/1/?signed=1&t=1353524557.0 HTTP/1.1" 302 0 "-" "DoCoMo/2.0 SH06A3(c500;TB;W24H14)" "116.93.151.35" 0.095
  2. 10.150.82.152 - - [22/Nov/2012:03:02:45 +0900] "POST /m/gashapon/free/1/?signed=1&t=1353524557.0 HTTP/1.1" 302 0 "-" "DoCoMo/2.0 SH06A3(c500;TB;W24H14)" "116.93.151.35" 0.095
  3. 10.150.82.122 - - [22/Nov/2012:04:02:45 +0900] "POST /m/gashapon/free/1/?signed=1&t=1353524557.0 HTTP/1.1" 200 0 "-" "DoCoMo/2.0 SH06A3(c500;TB;W24H14)" "116.93.151.35" 0.095
  4. 10.150.82.157 - - [22/Nov/2012:04:02:45 +0900] "POST /m/gashapon/free/1/?signed=1&t=1353524557.0 HTTP/1.1" 502 0 "-" "DoCoMo/2.0 SH06A3(c500;TB;W24H14)" "116.93.151.35" 0.095
  5. 10.150.82.153 - - [22/Nov/2012:06:02:45 +0900] "POST /m/gashapon/free/1/?signed=1&t=1353524557.0 HTTP/1.1" 504 0 "-" "DoCoMo/2.0 SH06A3(c500;TB;W24H14)" "116.93.151.35" 0.095
  6. 10.150.82.156 - - [22/Nov/2012:06:02:45 +0900] "POST /m/gashapon/free/1/?signed=1&t=1353524557.0 HTTP/1.1" 502 0 "-" "DoCoMo/2.0 SH06A3(c500;TB;W24H14)" "116.93.151.35" 0.095
复制代码
我写个大概的,不知道如何去精确取得状态码这一列
  1. awk  '{split($4,a,":|\\[");time=a[2]":"a[3];for(i=1;i<=NF;i++){if($i==502||$i==504){num[time"\t"$i]++}}}END{for(i in num)print i,num[i]}'
复制代码

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
发表于 2012-11-22 16:17 |显示全部楼层
总要给点数据来测试吧?

论坛徽章:
8
双子座
日期:2013-08-31 07:37:12金牛座
日期:2013-09-09 18:49:12处女座
日期:2013-09-23 11:43:14处女座
日期:2013-10-09 19:48:21狮子座
日期:2014-03-24 18:22:12丑牛
日期:2014-04-22 22:07:51申猴
日期:2014-06-12 21:54:13双鱼座
日期:2014-06-13 21:52:31
发表于 2012-11-22 16:32 |显示全部楼层
本帖最后由 kernel69 于 2012-11-22 16:33 编辑

再添点东西吧
  1. 我是是测试
复制代码

论坛徽章:
0
发表于 2012-11-22 16:36 |显示全部楼层
  1. 10.150.82.151 - - [22/Nov/2012:03:02:45 +0900] "POST /m/gashapon/free/1/?signed=1&t=1353524557.0 HTTP/1.1" 302 0 "-" "DoCoMo/2.0 SH06A3(c500;TB;W24H14)" "116.93.151.35" 0.095
  2. 10.150.82.152 - - [22/Nov/2012:03:02:45 +0900] "POST /m/gashapon/free/1/?signed=1&t=1353524557.0 HTTP/1.1" 302 0 "-" "DoCoMo/2.0 SH06A3(c500;TB;W24H14)" "116.93.151.35" 0.095
  3. 10.150.82.122 - - [22/Nov/2012:04:02:45 +0900] "POST /m/gashapon/free/1/?signed=1&t=1353524557.0 HTTP/1.1" 200 0 "-" "DoCoMo/2.0 SH06A3(c500;TB;W24H14)" "116.93.151.35" 0.095
  4. 10.150.82.157 - - [22/Nov/2012:04:02:45 +0900] "POST /m/gashapon/free/1/?signed=1&t=1353524557.0 HTTP/1.1" 502 0 "-" "DoCoMo/2.0 SH06A3(c500;TB;W24H14)" "116.93.151.35" 0.095
  5. 10.150.82.153 - - [22/Nov/2012:06:02:45 +0900] "POST /m/gashapon/free/1/?signed=1&t=1353524557.0 HTTP/1.1" 504 0 "-" "DoCoMo/2.0 SH06A3(c500;TB;W24H14)" "116.93.151.35" 0.095
  6. 10.150.82.156 - - [22/Nov/2012:06:02:45 +0900] "POST /m/gashapon/free/1/?signed=1&t=1353524557.0 HTTP/1.1" 502 0 "-" "DoCoMo/2.0 SH06A3(c500;TB;W24H14)" "116.93.151.35" 0.095
复制代码
回复 2# yestreenstars


    类似于这样的log,但是数据没有这么整齐,呵呵

论坛徽章:
0
发表于 2012-11-22 16:39 |显示全部楼层
回复 4# ljwd1000


    已经修改了。帮忙看看,谢谢了

论坛徽章:
3
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:51:162015年亚洲杯之阿曼
日期:2015-04-07 20:00:59
发表于 2012-11-22 16:41 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
发表于 2012-11-22 16:45 |显示全部楼层
回复 6# zooyo
  1. 22/Nov/2012:06  504 934
复制代码
类似于此

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
发表于 2012-11-22 17:03 |显示全部楼层
  1. awk '{a=substr($4,2,14);b[a" "$9]++}END{for(i in b)print i,b[i]}' file | sort
复制代码
or
  1. awk '{a=gensub(/\[(.*):.*:.*/,"\\1",1,$4);b[a" "$9]++}END{for(i in b)print i,b[i]}' file | sort
复制代码

论坛徽章:
0
发表于 2012-11-22 17:06 |显示全部楼层
回复 8# yestreenstars


    哎,给的数据太整齐了。真不好意思。状态码那一列以空格分割不是固定的位置。。。

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
发表于 2012-11-22 17:09 |显示全部楼层
回复 9# ljwd1000


    把你所有的特例也要写出来啊,不然怎么搞啊
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP