免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 4921 | 回复: 18
打印 上一主题 下一主题

[文本处理] 使用shell如何取出web日志中的一段时间的日志 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2012-11-19 20:23 |只看该作者 |倒序浏览
请问使用shell可否取出web日志中的一段时间的日志,如日志内容为:
115.67.100.159 - - [19/Nov/2012:05:00:01 +0100] "GET /favicon.ico HTTP/1.1" 404 564 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11"
154.5.137.229 - - [19/Nov/2012:05:00:01 +0100] "GET /favicon.ico HTTP/1.1" 404 162 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:16.0) Gecko/20100101 Firefox/16.0"
115.67.100.159 - - [19/Nov/2012:10:00:01 +0100] "GET /favicon.ico HTTP/1.1" 404 564 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11"
154.5.137.229 - - [19/Nov/2012:11:00:01 +0100] "GET /favicon.ico HTTP/1.1" 404 162 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:16.0) Gecko/20100101 Firefox/16.0"
115.67.100.159 - - [19/Nov/2012:12:00:01 +0100] "GET /favicon.ico HTTP/1.1" 404 564 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11"
154.5.137.229 - - [19/Nov/2012:12:00:01 +0100] "GET /favicon.ico HTTP/1.1" 404 162 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:16.0) Gecko/20100101 Firefox/16.0"

如何取出19/Nov/2012:11:00:01到19/Nov/2012:12:00:01的所有日志内容。先谢过!

论坛徽章:
0
2 [报告]
发表于 2012-11-19 23:19 |只看该作者
本帖最后由 liu-shaobo 于 2012-11-19 23:31 编辑

暂时想到这个,如果提取12点的,你在把$2 $3 的数字改一下,看其他兄弟还有没有更简单的办法

如果你的日志是每天切割的,就这样
  1. awk -F: '$2=="11" && $3<=59 {print $0}' logfile
复制代码
如果没有切割,就这样执行
  1. awk '(/\[19\/Nov\/2012:11/) {print $0}' logfile | awk -F: '$3<=59 {print $0}'
复制代码

论坛徽章:
0
3 [报告]
发表于 2012-11-19 23:43 |只看该作者
cat web | awk '/19\/Nov\/2012:11:00:01/,/19\/Nov\/2012:12:00:01/{print}'

论坛徽章:
0
4 [报告]
发表于 2012-11-20 10:36 |只看该作者
本帖最后由 liu-shaobo 于 2012-11-20 10:40 编辑

回复 3# dwj19830118

学习了

借花献佛
  1.     awk '/19\/Nov\/2012:11:00:01/,/19\/Nov\/2012:12:00:01/ {print}' logfile
复制代码

论坛徽章:
13
丑牛
日期:2013-08-16 15:08:22技术图书徽章
日期:2013-11-26 10:13:40双鱼座
日期:2013-11-08 15:03:26戌狗
日期:2013-11-08 13:52:30技术图书徽章
日期:2013-11-05 14:06:30戌狗
日期:2013-10-31 11:45:42CU十二周年纪念徽章
日期:2013-10-24 15:41:34天秤座
日期:2013-10-11 14:55:08子鼠
日期:2013-09-26 19:36:35水瓶座
日期:2013-09-26 17:44:56午马
日期:2013-08-26 10:24:23丑牛
日期:2013-08-19 14:43:22
5 [报告]
发表于 2012-11-20 11:36 |只看该作者
grep "19/Nov/2012:11" file

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
6 [报告]
发表于 2012-11-20 14:10 |只看该作者
@dwj19830118@liu-shaobo不知道你们有没有看清他的文本内容,他的文本中有两行数据是包含19/Nov/2012:12:00:01的,你们这样做只能截取第一次匹配到19/Nov/2012:11:00:01的行到第一次匹配到19/Nov/2012:12:00:01的行,根本不符合楼主要求。@代号:军刀你这个就更加是没看清题目。

论坛徽章:
0
7 [报告]
发表于 2012-11-20 14:30 |只看该作者
回复 6# yestreenstars


    不会吧,我刚才测试是可以匹配之间的数据呀

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
8 [报告]
发表于 2012-11-20 14:52 |只看该作者
回复 7# liu-shaobo


    你匹配出来的结果是2行的,对吧,正确的应该有3行,也就是下面的3行:
154.5.137.229 - - [19/Nov/2012:11:00:01 +0100] "GET /favicon.ico HTTP/1.1" 404 162 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:16.0) Gecko/20100101 Firefox/16.0"
115.67.100.159 - - [19/Nov/2012:12:00:01 +0100] "GET /favicon.ico HTTP/1.1" 404 564 "-" "Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11"
154.5.137.229 - - [19/Nov/2012:12:00:01 +0100] "GET /favicon.ico HTTP/1.1" 404 162 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:16.0) Gecko/20100101 Firefox/16.0"

论坛徽章:
0
9 [报告]
发表于 2012-11-20 15:51 |只看该作者
回复 8# yestreenstars


    是哦,这样可以吧
  1.     awk '/19\/Nov\/2012:11:00:01/,/19\/Nov\/2012:12:00:02/ {print}' logfile
复制代码

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
10 [报告]
发表于 2012-11-20 16:16 |只看该作者
本帖最后由 yestreenstars 于 2012-11-20 16:17 编辑

回复 9# liu-shaobo


    不行,这样做会把匹配到19/Nov/2012:12:00:02的行也显示出来,如果匹配不到会把19/Nov/2012:11:00:01后面的所有行都显示出来,你可以在最后面添加下面一行测试。
154.5.137.229 - - [19/Nov/2012:12:00:03 +0100] "GET /favicon.ico HTTP/1.1" 404 162 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:16.0) Gecko/20100101 Firefox/16.0"
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP