免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 2218 | 回复: 5
打印 上一主题 下一主题

[文本处理] awk 提取字段 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2016-06-16 12:15 |只看该作者 |倒序浏览
192.168.1.1 - - [15/Jun/2016:00:01:32 +0800] open.test.com "GET /app/appJump.json?appId=4028819A4F30AA1E014F40DB410412E7&token=Rk8IwsjEcCu01kjlJHpiBexBdnVrvEBQhnVDtCcPlSgtGcSzSu6TSQ%3D%3D HTTP/1.1" 302 0 0.014 "-" "Mozilla/5.0 (Linux; U; Android 4.3; zh-cn; vivo X3L Build/JLS36C) AppleWebKit/534.30 (KHTML, like Gecko) Version/4.0 Mobile Safari/534.30_w" - 192.168.1.182:8084
192.168.1.2 - - [15/Jun/2016:00:01:32 +0800] open.test.com "POST /group/praise.htm HTTP/1.1" 200 104 0.023 "-" "Dalvik/1.6.0 (Linux; U; Android 4.3; G620-L75 Build/HuaweiG620-L75)" - 192.168.1.183:8084
...
...
通过awk提取,request字段和最后的字段

awk '{print $8,$NF}'

/app/appJump.json?appId=4028819A4F30AA1E014F40DB410412E7&token=Rk8IwsjEcCu01kjlJHpiBexBdnVrvEBQhnVDtCcPlSgtGcSzSu6TSQ%3D%3D 192.168.1.182:8084
/group/praise.htm 192.168.1.183:8084

最后的想提取的结果如下所示:

/app/appJump.json 192.168.1.182:8084
/group/praise.htm 192.168.1.183:8084

该如何操作???求教

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
2 [报告]
发表于 2016-06-16 12:34 |只看该作者
本帖最后由 moperyblue 于 2016-06-16 13:07 编辑

grep -oP '(?<=GET |POST )[^? ]+|(\d{1,3}\.){3}\d{1,3}:\d+\s*$'|xargs -n2
  1. sed -r 's#.* (/[^? ]+).* - (.*[0-9]+).*#\1 \2#'
复制代码

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
3 [报告]
发表于 2016-06-16 12:41 |只看该作者
回复 1# zhaolianghz

$ awk '{sub("?.+$","",$8);print $8,$NF}' FILE
/app/appJump.json 192.168.1.182:8084
/group/praise.htm 192.168.1.183:8084

   

论坛徽章:
10
天蝎座
日期:2013-09-22 22:32:23程序设计版块每日发帖之星
日期:2016-08-07 06:20:00lufei
日期:2016-06-17 17:38:40程序设计版块每日发帖之星
日期:2016-06-12 06:20:002016科比退役纪念章
日期:2016-05-31 15:47:20CU十四周年纪念徽章
日期:2016-05-27 12:24:562015年亚洲杯之阿曼
日期:2015-05-03 21:01:352015年辞旧岁徽章
日期:2015-03-03 16:54:15天蝎座
日期:2013-10-20 21:05:24程序设计版块每日发帖之星
日期:2016-08-11 06:20:00
4 [报告]
发表于 2016-06-16 12:44 |只看该作者
  1. awk -F" |\?" '{print $8, $(NF-1)}'
复制代码
回复 1# zhaolianghz


   

论坛徽章:
0
5 [报告]
发表于 2016-06-16 16:31 |只看该作者
回复 3# jason680


    谢谢

论坛徽章:
0
6 [报告]
发表于 2016-06-16 16:32 |只看该作者
回复 4# liion631818


    谢谢,通俗易懂
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP