免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › awk第一列匹配多行多列字段。
12下一页
最近访问板块 发新帖
查看: 4768 | 回复: 12
打印 上一主题 下一主题

[文本处理] awk第一列匹配多行多列字段。 [复制链接]

fenzao

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2018-05-28 15:23 |只看该作者 |倒序浏览
本帖最后由 fenzao 于 2018-05-28 15:27 编辑

有多个ip，怎样显示只匹配html的ip。ip是随机ip。

文本：101.23.228.103        - - [28/May/2018:15:08:43 +0000] "GET /static/img/pc_db_su.png HTTP/1.1" 200
101.23.228.104        - - [28/May/2018:15:08:43 +0000] "GET /static/img/rg_cl02.png HTTP/1.1" 200
101.23.228.105        - - [28/May/2018:15:08:43 +0000] "GET /static/img/pc_.png HTTP/1.1" 200
101.23.228.106        - - [28/May/2018:15:08:43 +0000] "GET /static/img/pc_.png HTTP/1.1" 200
101.23.228.102        - - [28/May/2018:15:08:43 +0000] "GET /static/img/pc_.png HTTP/1.1" 200
101.23.228.102        - - [28/May/2018:15:08:43 +0000] "GET /qiye/5101.html HTTP/1.1" 200
101.23.228.109        - - [28/May/2018:15:08:43 +0000] "GET /qiye/9111.html HTTP/1.1" 404
101.23.228.111        - - [28/May/2018:15:08:44 +0000] "GET /favicon.ico HTTP/1.1" 404
101.23.228.112        - - [28/May/2018:15:08:44 +0000] "GET /qiye/912100007.html HTTP/1.1" 200
101.23.228.113        - - [28/May/2018:15:08:44 +0000] "GET /qiye/91130281.html HTTP/1.1" 200
101.23.228.114        - - [28/May/2018:15:08:44 +0000] "GET /qiye/hub.html HTTP/1.1" 200
101.23.228.105        - - [28/May/2018:15:08:44 +0000] "POST /qiye/anal HTTP/1.1" 200
101.23.228.104        - - [28/May/2018:15:08:44 +0000] "POST /qiye/anal HTTP/1.1" 200
101.23.228.104        - - [28/May/2018:15:08:44 +0000] "POST /qiye/anal HTTP/1.1" 200
101.23.228.118        - - [28/May/2018:15:08:44 +0000] "POST /qiye/analysis/brandDistribution HTTP/1.1" 200
101.23.228.102        - - [28/May/2018:15:08:44 +0000] "GET /detail/bmthiumcailht.html HTTP/1.1" 200
101.23.228.112        - - [28/May/2018:15:08:44 +0000] "GET /qiye/640100200.html HTTP/1.1" 200
101.23.228.112        - - [28/May/2018:15:08:44 +0000] "GET /qiye/911506220.html HTTP/1.1" 200
101.23.228.112        - - [28/May/2018:15:08:44 +0000] "GET /qiye/915100003.html HTTP/1.1" 404
101.23.228.123        - - [28/May/2018:15:08:44 +0000] "GET /static/fonts/kai.TTF HTTP/1.1" 200
fenzao

论坛徽章:
0
2楼 [报告]
发表于 2018-05-28 15:34 |只看该作者
本帖最后由 fenzao 于 2018-05-29 17:55 编辑

比如这个是唯一匹配html没有匹配别的。
101.23.228.112        - - [28/May/2018:15:08:44 +0000] "GET /qiye/911506220.html HTTP/1.1" 200
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
fenzao

论坛徽章:
0
3楼 [报告]
发表于 2018-05-28 15:34 |只看该作者
比如这个
101.23.228.112        - - [28/May/2018:15:08:44 +0000] "GET /qiye/911506220.html HTTP/1.1" 200
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
1cpuer

论坛徽章:
6
程序设计版块每日发帖之星 日期:2016-05-11 06:20:00操作系统版块每日发帖之星 日期:2016-05-12 06:20:00每日论坛发贴之星 日期:2016-05-12 06:20:00操作系统版块每日发帖之星 日期:2016-05-14 06:20:00程序设计版块每日发帖之星 日期:2016-05-31 06:20:00每日论坛发贴之星 日期:2016-05-31 06:20:00
4楼 [报告]
发表于 2018-05-29 12:01 |只看该作者
回复 3# fenzao

sed -n '\/qiye\/[0-9][0-9]\+/p' html.file
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wh7211

论坛徽章:
25
程序设计版块每日发帖之星 日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一 日期:2018-07-05 10:34:09黑曼巴 日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山 日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西 日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏 日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛 日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海 日期:2018-12-11 09:45:3219周年集字徽章-年 日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳 日期:2020-04-19 21:40:19黑曼巴 日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一 日期:2018-07-03 16:56:46
5楼 [报告]
发表于 2018-05-29 12:36 |只看该作者
回复 1# fenzao


  1. awk '/html/' file
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
fenzao

论坛徽章:
0
6楼 [报告]
发表于 2018-05-29 17:52 |只看该作者
同一个ip有可能是收到别的数据，这样匹配是一条，不是一段时间内唯一的。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wh7211

论坛徽章:
25
程序设计版块每日发帖之星 日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一 日期:2018-07-05 10:34:09黑曼巴 日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山 日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西 日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏 日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛 日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海 日期:2018-12-11 09:45:3219周年集字徽章-年 日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳 日期:2020-04-19 21:40:19黑曼巴 日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一 日期:2018-07-03 16:56:46
7楼 [报告]
发表于 2018-05-30 12:40 |只看该作者
本帖最后由 wh7211 于 2018-05-30 12:55 编辑

回复 6# fenzao


有多个ip，怎样显示只匹配html的ip。ip是随机ip。

5楼代码满足你1楼描述的这个需求。提问时，源文件，需求描述和希望得到的结果最好都写清楚
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wh7211

论坛徽章:
25
程序设计版块每日发帖之星 日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一 日期:2018-07-05 10:34:09黑曼巴 日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山 日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西 日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏 日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛 日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海 日期:2018-12-11 09:45:3219周年集字徽章-年 日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳 日期:2020-04-19 21:40:19黑曼巴 日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一 日期:2018-07-03 16:56:46
8楼 [报告]
发表于 2018-05-30 18:37 |只看该作者
本帖最后由 wh7211 于 2018-05-30 20:14 编辑

回复 8# fenzao


<<<awk4.0+
  1. awk '{a[NR][$1]=$0;if($0!~/html/){b[$1]++}}END{PROCINFO["sorted_in"]="@ind_num_asc";for(i in a){for(j in a[i]){if(!b[j]){print a[i][j]}}}}' file
复制代码

<<<awk3.0+
  1. awk '!f[$1]{if(/html/){a=a?a"\n"$0:$0}else{f[$1]++}}f[$1]&&a{gsub("(^|\n)"$1".*($|\n)","",a);if(a){print a;a=""}}END{if(a){print a}}' file
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
fenzao

论坛徽章:
0
9楼 [报告]
发表于 2018-05-30 21:26 |只看该作者
回复 9# wh7211

能否解释下？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
龙牙地主天

论坛徽章:
8
CU十四周年纪念徽章 日期:2017-08-28 17:16:1915-16赛季CBA联赛之北控 日期:2018-03-29 11:39:0615-16赛季CBA联赛之上海 日期:2018-05-21 10:46:10技术图书徽章 日期:2018-09-03 13:54:18技术图书徽章 日期:2018-09-03 13:54:2815-16赛季CBA联赛之四川 日期:2020-10-15 09:21:4720周年集字徽章-20 日期:2020-10-28 13:53:0220周年集字徽章-庆 日期:2020-10-28 14:09:12
10楼 [报告]
发表于 2018-05-31 14:04 |只看该作者
回复 1# fenzao

  1. awk '{if($0~/html/) a[$1]=a[$1]?a[$1]"\n"$0:$0 ; else b[$1]++}END{for(i in a) if(!b[i]) print a[i]}' file
复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP