忘记密码   免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
12下一页
最近访问板块 发新帖
查看: 2004 | 回复: 12

[文本处理] awk第一列匹配多行多列字段。 [复制链接]

论坛徽章:
0
发表于 2018-05-28 15:23 |显示全部楼层
本帖最后由 fenzao 于 2018-05-28 15:27 编辑

有多个ip,怎样显示只匹配html的ip。ip是随机ip。

文本:101.23.228.103        - - [28/May/2018:15:08:43 +0000] "GET /static/img/pc_db_su.png HTTP/1.1" 200
101.23.228.104        - - [28/May/2018:15:08:43 +0000] "GET /static/img/rg_cl02.png HTTP/1.1" 200
101.23.228.105        - - [28/May/2018:15:08:43 +0000] "GET /static/img/pc_.png HTTP/1.1" 200
101.23.228.106        - - [28/May/2018:15:08:43 +0000] "GET /static/img/pc_.png HTTP/1.1" 200
101.23.228.102        - - [28/May/2018:15:08:43 +0000] "GET /static/img/pc_.png HTTP/1.1" 200
101.23.228.102        - - [28/May/2018:15:08:43 +0000] "GET /qiye/5101.html HTTP/1.1" 200
101.23.228.109        - - [28/May/2018:15:08:43 +0000] "GET /qiye/9111.html HTTP/1.1" 404
101.23.228.111        - - [28/May/2018:15:08:44 +0000] "GET /favicon.ico HTTP/1.1" 404
101.23.228.112        - - [28/May/2018:15:08:44 +0000] "GET /qiye/912100007.html HTTP/1.1" 200
101.23.228.113        - - [28/May/2018:15:08:44 +0000] "GET /qiye/91130281.html HTTP/1.1" 200
101.23.228.114        - - [28/May/2018:15:08:44 +0000] "GET /qiye/hub.html HTTP/1.1" 200
101.23.228.105        - - [28/May/2018:15:08:44 +0000] "POST /qiye/anal HTTP/1.1" 200
101.23.228.104        - - [28/May/2018:15:08:44 +0000] "POST /qiye/anal HTTP/1.1" 200
101.23.228.104        - - [28/May/2018:15:08:44 +0000] "POST /qiye/anal HTTP/1.1" 200
101.23.228.118        - - [28/May/2018:15:08:44 +0000] "POST /qiye/analysis/brandDistribution HTTP/1.1" 200
101.23.228.102        - - [28/May/2018:15:08:44 +0000] "GET /detail/bmthiumcailht.html HTTP/1.1" 200
101.23.228.112        - - [28/May/2018:15:08:44 +0000] "GET /qiye/640100200.html HTTP/1.1" 200
101.23.228.112        - - [28/May/2018:15:08:44 +0000] "GET /qiye/911506220.html HTTP/1.1" 200
101.23.228.112        - - [28/May/2018:15:08:44 +0000] "GET /qiye/915100003.html HTTP/1.1" 404
101.23.228.123        - - [28/May/2018:15:08:44 +0000] "GET /static/fonts/kai.TTF HTTP/1.1" 200

论坛徽章:
0
发表于 2018-05-28 15:34 |显示全部楼层
本帖最后由 fenzao 于 2018-05-29 17:55 编辑

比如这个是唯一匹配html没有匹配别的。
101.23.228.112        - - [28/May/2018:15:08:44 +0000] "GET /qiye/911506220.html HTTP/1.1" 200

论坛徽章:
0
发表于 2018-05-28 15:34 |显示全部楼层
比如这个
101.23.228.112        - - [28/May/2018:15:08:44 +0000] "GET /qiye/911506220.html HTTP/1.1" 200

论坛徽章:
6
程序设计版块每日发帖之星
日期:2016-05-11 06:20:00操作系统版块每日发帖之星
日期:2016-05-12 06:20:00每日论坛发贴之星
日期:2016-05-12 06:20:00操作系统版块每日发帖之星
日期:2016-05-14 06:20:00程序设计版块每日发帖之星
日期:2016-05-31 06:20:00每日论坛发贴之星
日期:2016-05-31 06:20:00
发表于 2018-05-29 12:01 |显示全部楼层
回复 3# fenzao

sed -n '\/qiye\/[0-9][0-9]\+/p' html.file

论坛徽章:
19
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:33黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:0915-16赛季CBA联赛之八一
日期:2018-07-03 16:56:4615-16赛季CBA联赛之深圳
日期:2018-06-15 14:59:3715-16赛季CBA联赛之青岛
日期:2018-06-08 13:45:2815-16赛季CBA联赛之同曦
日期:2018-06-04 19:42:2015-16赛季CBA联赛之山东
日期:2018-05-30 12:44:59CU十四周年纪念徽章
日期:2018-05-15 11:36:3815-16赛季CBA联赛之广东
日期:2018-05-14 09:52:42
发表于 2018-05-29 12:36 |显示全部楼层
回复 1# fenzao


  1. awk '/html/' file
复制代码

论坛徽章:
0
发表于 2018-05-29 17:52 |显示全部楼层
同一个ip有可能是收到别的数据,这样匹配是一条,不是一段时间内唯一的。

论坛徽章:
19
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:33黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:0915-16赛季CBA联赛之八一
日期:2018-07-03 16:56:4615-16赛季CBA联赛之深圳
日期:2018-06-15 14:59:3715-16赛季CBA联赛之青岛
日期:2018-06-08 13:45:2815-16赛季CBA联赛之同曦
日期:2018-06-04 19:42:2015-16赛季CBA联赛之山东
日期:2018-05-30 12:44:59CU十四周年纪念徽章
日期:2018-05-15 11:36:3815-16赛季CBA联赛之广东
日期:2018-05-14 09:52:42
发表于 2018-05-30 12:40 |显示全部楼层
本帖最后由 wh7211 于 2018-05-30 12:55 编辑

回复 6# fenzao


有多个ip,怎样显示只匹配html的ip。ip是随机ip。

5楼代码满足你1楼描述的这个需求。提问时,源文件,需求描述和希望得到的结果最好都写清楚

论坛徽章:
19
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:33黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:0915-16赛季CBA联赛之八一
日期:2018-07-03 16:56:4615-16赛季CBA联赛之深圳
日期:2018-06-15 14:59:3715-16赛季CBA联赛之青岛
日期:2018-06-08 13:45:2815-16赛季CBA联赛之同曦
日期:2018-06-04 19:42:2015-16赛季CBA联赛之山东
日期:2018-05-30 12:44:59CU十四周年纪念徽章
日期:2018-05-15 11:36:3815-16赛季CBA联赛之广东
日期:2018-05-14 09:52:42
发表于 2018-05-30 18:37 |显示全部楼层
本帖最后由 wh7211 于 2018-05-30 20:14 编辑

回复 8# fenzao


<<<awk4.0+
  1. awk '{a[NR][$1]=$0;if($0!~/html/){b[$1]++}}END{PROCINFO["sorted_in"]="@ind_num_asc";for(i in a){for(j in a[i]){if(!b[j]){print a[i][j]}}}}' file
复制代码

<<<awk3.0+
  1. awk '!f[$1]{if(/html/){a=a?a"\n"$0:$0}else{f[$1]++}}f[$1]&&a{gsub("(^|\n)"$1".*($|\n)","",a);if(a){print a;a=""}}END{if(a){print a}}' file
复制代码

论坛徽章:
0
发表于 2018-05-30 21:26 |显示全部楼层
回复 9# wh7211

能否解释下?

论坛徽章:
3
CU十四周年纪念徽章
日期:2017-08-28 17:16:1915-16赛季CBA联赛之北控
日期:2018-03-29 11:39:0615-16赛季CBA联赛之上海
日期:2018-05-21 10:46:10
发表于 2018-05-31 14:04 |显示全部楼层
回复 1# fenzao

  1. awk '{if($0~/html/) a[$1]=a[$1]?a[$1]"\n"$0:$0 ; else b[$1]++}END{for(i in a) if(!b[i]) print a[i]}' file
复制代码

您需要登录后才可以回帖 登录 | 注册

本版积分规则

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:wangnan@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP