忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
123下一页
最近访问板块 发新帖
查看: 1258 | 回复: 22

[文本处理] awk处理不同列相同字符 [复制链接]

论坛徽章:
0
发表于 2017-09-07 15:15 |显示全部楼层
如文件:
cat a.txt
A-|[10/May/2017:23:59:09 +0800]|device_id=abcde&abcd&imei=10%3&machine_type=QWER&md5=1234|200
A-|[10/May/2017:23:59:19 +0800]|device_id=bbcde&dbcd&imei=13%3&machine_type=Qqew&md5=1234|200
A-|[10/May/2017:23:59:29 +0800]|device_id=cbcde&fbcd&imei=15%3&machine_type=Q213&md5=1234|200
A-|[10/May/2017:23:59:39 +0800]|device_id=dbcde&arbcd&imei=12%3&machine_type=Q1ER&md5=1234|200
A-|[10/May/2017:23:59:49 +0800]|device_id=ebcde&accd&imei=10%3&machine_type=Q324R&md5=1234|200
A-|[10/May/2017:23:59:59 +0800]|device_id=fbcde&arcd&imei=20%3&machine_type=QWE3&md5=1234|200
A-|[10/May/2017:23:56:19 +0800]|device_id=gbcde&afcd&imei=10%3&adew&machine_type=QW6R&md5=1234|200
A-|[10/May/2017:23:54:59 +0800]|device_id=hbcde&bbcd&imei=30%3&y4i&machine_type=QWder&md5=1234|200
A-|[10/May/2017:23:53:49 +0800]|device_id=ibcde&abtd&imei=20%3&machine_type=Qqewrer&md5=1234|200
A-|[10/May/2017:23:52:39 +0800]|device_id=jbcde&nbcd&imei=40%3&yui&machine_type=Q7346&md5=1234|200


想使用awk过滤出如:时间,device_id=abcde(只要值abcde) 同时出过滤出 machine_type=QWER(同样只要值 QWER)形如下格式:

23:59:09|abcde|QWER

请各位大神帮忙有没有办法用一条 awk命令,或者有什么更好的办法。。。不能用两个分隔符,因为可能有的值是在不同一列上的。
目前想到的办法就是分别用awk过滤出来,然后再合并三个文件。这样不是太好。求好点的方法,或用awk整合成一条命令。谢谢各位大神。

论坛徽章:
1
CU十四周年纪念徽章
日期:2017-08-28 17:16:19
发表于 2017-09-07 16:18 |显示全部楼层
本帖最后由 龙牙地主天 于 2017-09-07 16:25 编辑
  1. awk 'BEGIN{FS=":| +" ;key1="device_id=abcde" ; key2="machine_type=QWER"}$0~key1 && $0~key2{split(key1"="key2,a,"=") ; print $2":"$3":"$4"|"a[2]"|"a[4]}' a.txt
复制代码

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之同曦
日期:2017-09-11 14:39:48
发表于 2017-09-07 16:27 |显示全部楼层
本帖最后由 wh7211 于 2017-09-07 17:25 编辑

回复 1# 我是个读书人丶

  1. awk '{y="^[^:]+:([^ ]+).*device_id=([^&]+).*machine_type=([^&]+).*$";match($0,y,t);print t[1]"|"t[2]"|"t[3]}' a.txt
复制代码


输出如下:
23:59:09|abcde|QWER
23:59:19|bbcde|Qqew
23:59:29|cbcde|Q213
23:59:39|dbcde|Q1ER
23:59:49|ebcde|Q324R
23:59:59|fbcde|QWE3
23:56:19|gbcde|QW6R
23:54:59|hbcde|QWder
23:53:49|ibcde|Qqewrer
23:52:39|jbcde|Q7346

论坛徽章:
28
酉鸡
日期:2014-05-04 10:03:482015年迎新春徽章
日期:2015-03-04 09:58:112015年亚洲杯纪念徽章
日期:2015-03-20 14:40:232015亚冠之阿尔纳斯尔
日期:2015-06-02 18:59:042015亚冠之阿尔希拉尔
日期:2015-06-30 15:22:572015亚冠之大阪钢巴
日期:2015-07-20 10:44:332015亚冠之阿尔纳斯尔
日期:2015-10-28 14:57:5215-16赛季CBA联赛之新疆
日期:2015-12-25 10:18:45黑曼巴
日期:2016-06-26 21:39:5315-16赛季CBA联赛之山西
日期:2016-07-25 21:54:2715-16赛季CBA联赛之北京
日期:2016-10-27 12:07:2315-16赛季CBA联赛之八一
日期:2017-07-07 16:39:09
发表于 2017-09-07 16:36 |显示全部楼层
回复 3# wh7211


需要加两个判断,楼主只要abcde和QWER的!

论坛徽章:
115
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07巳蛇
日期:2014-05-09 16:43:18巨蟹座
日期:2014-10-23 17:48:38子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59
发表于 2017-09-07 16:43 |显示全部楼层
回复 1# 我是个读书人丶

$ awk -vdid="abcde" -vmtp="QWER" 'match($0,"([0-9][0-9]:[0-9][0-9]:[0-9][0-9]) .+device_id="did".+machine_type="mtp,m){print m[1]"|"did"|"mtp}' a.txt
23:59:09|abcde|QWER

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之同曦
日期:2017-09-11 14:39:48
发表于 2017-09-07 17:04 |显示全部楼层
本帖最后由 wh7211 于 2017-09-08 09:30 编辑

回复 4# zxy877298415


如果只输出abcde和QWER的:
  1. awk '{y="^[^:]+:([^ ]+).*device_id=(abcde)&.*machine_type=(QWER)&.*$"}match($0,y,t){print t[1]"|"t[2]"|"t[3]}' a.txt
复制代码


输出:
23:59:09|abcde|QWER

论坛徽章:
0
发表于 2017-09-07 17:13 |显示全部楼层
回复 2# 龙牙地主天

非常感谢。不好意思,可能我表达的意思不是太正确。 。。我是想要输出  这样的 23:59:09|abcde|QWER  格式。。。问题是: 在a.txt中找出所有的时间、device_id的值、和machine_type的值。

论坛徽章:
0
发表于 2017-09-07 17:13 |显示全部楼层
回复 6# wh7211


非常感谢。不好意思,可能我表达的意思不是太正确。 。。我是想要输出  这样的 23:59:09|abcde|QWER  格式。。。问题是: 在a.txt中找出所有的时间、device_id的值、和machine_type的值。

论坛徽章:
0
发表于 2017-09-07 17:14 |显示全部楼层
回复 5# jason680


非常感谢。不好意思,可能我表达的意思不是太正确。 。。我是想要输出  这样的 23:59:09|abcde|QWER  格式。。。问题是: 在a.txt中找出所有的时间、device_id的值、和machine_type的值。

论坛徽章:
2
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之同曦
日期:2017-09-11 14:39:48
发表于 2017-09-07 17:22 |显示全部楼层
本帖最后由 wh7211 于 2017-09-08 09:21 编辑

回复 8# 我是个读书人丶


您需要登录后才可以回帖 登录 | 注册

本版积分规则

10张SACC2017门票等你来拿~

在数字化转型时代,云已成为万物智能的数字化大脑。而随着大数据应用、人工智能、移动互联网等技术的飞速发展,“智慧 +” 的概念正在深入到各行各业,提升企业效率,释放商业潜能,创造全新机遇。作为国内顶级技术盛会之一,2017 中国系统架构师大会(SACC2017)将于 10 月 19-21 日在北京新云南皇冠假日酒店震撼来袭。今年,大会以 “云智未来” 为主题,云集国内外顶级专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。本届大会共设置 2 大主会场,18 个技术专场;邀请来自互联网、金融、制造业、电商等多个领域,100 余位技术专家及行业领袖来分享他们的经验;并将吸引 4000 + 人次的系统运维、架构师及 IT 决策人士参会,为他们提供最具价值的交流平台。
----------------------------------------
优惠时间:2017年10月19日前

活动链接>>
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP