免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1836 | 回复: 4
打印 上一主题 下一主题

[文本处理] 日志分析,不断分析 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2017-06-29 13:24 |只看该作者 |倒序浏览
日志文件
112.17.238.167 - 0.648 - [28/Jun/2017:11:07:26 +0800] "GET /api/trusteeship_order/number?identity=provider HTTP/1.1" api.shipindiy.com 200 242 "-" "MatchingPlatform/2.
2.1 (iPhone; iOS 8.0.2; Scale/3.00)" "-"
112.17.238.167 - 0.654 - [28/Jun/2017:11:07:26 +0800] "GET /api/trusteeship_order/number?identity=provider HTTP/1.1" api.shipindiy.com 200 242 "-" "MatchingPlatform/2.
2.1 (iPhone; iOS 8.0.2; Scale/3.00)" "-"
[root@nagios shell]# vim jushi.log


需求是 这是个不断产生的日志文件, 我需要2小时分析下 ,0.648  这个值有没有超过0.5的,然后记录超过的数量,在2过2小时继续分析,但要排除前面分析过的部分

论坛徽章:
39
辰龙
日期:2013-08-21 15:45:192015亚冠之广州富力
日期:2015-05-12 16:34:52亥猪
日期:2015-03-03 17:22:00申猴
日期:2015-03-03 17:21:37未羊
日期:2014-10-10 13:45:41戌狗
日期:2014-06-17 09:53:29巨蟹座
日期:2014-06-12 23:17:17双鱼座
日期:2014-06-10 12:42:44寅虎
日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫
日期:2015-05-24 15:24:35黄金圣斗士
日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林
日期:2017-06-24 16:43:52
2 [报告]
发表于 2017-06-30 09:14 |只看该作者
本帖最后由 关阴月飞 于 2017-06-30 09:56 编辑

如果日志有按天做轮转,  可以设置crontab 每两个小时执行一次cat xx.sh
#!/bin/bash
awk -F '[: ]+'  'BEGIN{time_end=strftime("%H",systime());time_start=time_end-2}  $6>=time_start && $6<time_end && $3>0.5 {n++} END{print time_start,time_end-1,n}'  urfile  >/tmp/log_file

crontab -e
0 */2 * * *  /bin/bash  xx.sh

论坛徽章:
0
3 [报告]
发表于 2017-06-30 15:44 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
4 [报告]
发表于 2017-07-07 09:31 |只看该作者
本友会机友会摄友会 发表于 2017-06-30 15:44
txt无索引,行,列无法跳转,或跳转难。这就是txt这【祖奶文件格式】最大的悲哀。
所以,现在都入库了。
...

powershell大师,你用的是windows powershell还是linux下面的powershell啊? 有没有什么入门的教程学习一下?

论坛徽章:
0
5 [报告]
发表于 2017-07-07 15:46 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP