免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 10626 | 回复: 4

求助!利用python统计nginx异常日志 [复制链接]

论坛徽章:
1
数据库技术版块每日发帖之星
日期:2016-01-16 06:20:00
发表于 2019-11-21 10:30 |显示全部楼层
本帖最后由 hcj890816 于 2019-11-21 10:46 编辑

nginx里配置了多个虚拟主机,如日志目录为/data/nginx/logs/,下面有aaa.log,bbb.log,ccc.log,格式如下 unix_20191121104558.jpg
现在需要每天统计日志里状态码大于400的日志,并给出对应访问的URL,统计出这个url每天访问大于400的次数,领导要求必须用python脚本完成,各位路过的大佬,本人python小白,帮帮小弟



论坛徽章:
0
发表于 2019-11-22 16:55 |显示全部楼层
你出点钱,论坛里大把人排队帮你写

论坛徽章:
9
15-16赛季CBA联赛之同曦
日期:2016-06-11 19:22:41程序设计版块每日发帖之星
日期:2016-07-04 06:20:00程序设计版块每日发帖之星
日期:2016-07-06 06:20:00程序设计版块每日发帖之星
日期:2016-07-12 06:20:00每日论坛发贴之星
日期:2016-07-12 06:20:00程序设计版块每日发帖之星
日期:2016-08-09 06:20:00每日论坛发贴之星
日期:2016-08-09 06:20:0015-16赛季CBA联赛之同曦
日期:2020-01-28 12:42:4715-16赛季CBA联赛之深圳
日期:2020-05-31 16:13:56
发表于 2020-01-28 13:00 |显示全部楼层
root@lp:~/jw/python/data# cat get_log.py
import pandas as pd
import os

filename = 'a.log'

a = pd.read_csv(filename,sep=' ',header=None)
b = a[a.loc[:,6] >400].loc[:,[5,6,0]]

b.to_csv('4xx.log',header=['url','code','ip'],index=None)
os.system('cat 4xx.log')


2020-01-28 12-59-07 的屏幕截图.png

论坛徽章:
9
15-16赛季CBA联赛之同曦
日期:2016-06-11 19:22:41程序设计版块每日发帖之星
日期:2016-07-04 06:20:00程序设计版块每日发帖之星
日期:2016-07-06 06:20:00程序设计版块每日发帖之星
日期:2016-07-12 06:20:00每日论坛发贴之星
日期:2016-07-12 06:20:00程序设计版块每日发帖之星
日期:2016-08-09 06:20:00每日论坛发贴之星
日期:2016-08-09 06:20:0015-16赛季CBA联赛之同曦
日期:2020-01-28 12:42:4715-16赛季CBA联赛之深圳
日期:2020-05-31 16:13:56
发表于 2020-01-28 13:01 |显示全部楼层
root@lp:~/jw/python/data# cat get_log.py
import pandas as pd
import os

filename = 'a.log'

a = pd.read_csv(filename,sep=' ',header=None)
b = a[a.loc[:,6] >400].loc[:,[5,6,0]]

b.to_csv('4xx.log',header=['url','code','ip'],index=None)
os.system('cat 4xx.log')


2020-01-28 12-59-07 的屏幕截图.png

论坛徽章:
0
发表于 2020-03-10 21:23 |显示全部楼层
这个还是用shell更简单
  1. awk '$9/4>=100{print $7}' *.log | sort | uniq -c
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会

【架构革新 高效可控】2020年12月21日-23日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP