Chinaunix
标题:
请教如何有条件的对内容列进行去重合并
[打印本页]
作者:
mudfr0g
时间:
2017-06-01 14:45
标题:
请教如何有条件的对内容列进行去重合并
本帖最后由 mudfr0g 于 2017-06-01 14:47 编辑
请教一个问题原始数据是这样,是日志类型的,但是生成的格式不规范,前期做了一些格式化处理。
处理之后
可以看到
TAG111 TAG 222 TAG333 TAG444 来做区分,这部分用相同的区分也没问题,前期格式化的时候可以改。TAG999表示一行结束。
然后看数据内容
TAG111第一列里面是时间,没见过这种时间,就是日期精确到毫秒后面一堆的
TAG222第二列是类型,有的001 ,有的002 ,其他还有可能是003 004这样
TAG333第三列是类似域名的,有不同的主机头
TAG444第四列是URL地址的
TAG111:Tue Apr 18 13:54:14.808748 2017,TAG222:001,TAG333:a.abc.com,TAG444:url /front/themes/blueTAG999
TAG111:Tue Apr 18 13:54:14.809118 2017,TAG222:001,TAG333:a.abc.com,TAG444:url /front/themes/blueTAG999
TAG111:Tue Apr 18 13:54:14.810626 2017,TAG222:001,TAG333:a.abc.com,TAG444:url /front/themes/blueTAG999
TAG111:Tue Apr 18 14:34:13.850987 2017,TAG222:002,TAG333:b.abc.com,TAG444:url /front/themes/redTAG999
TAG111:Tue Apr 18 14:34:13.851459 2017,TAG222:002,TAG333:b.abc.com,TAG444:url /front/themes/redTAG999
TAG111:Tue Apr 18 14:34:13.851687 2017,TAG222:001,TAG333:c.abc.com,TAG444:url /front/themes/blueTAG999
TAG111:Tue Apr 18 14:34:13.851987 2017,TAG222:001,TAG333:c.abc.com,TAG444:url /front/themes/blueTAG999
TAG111:Tue Apr 18 14:34:13.890156 2017,TAG222:001,TAG333:b.abc.com,TAG444:url /front/themes/blueTAG999
TAG111:Tue Apr 18 14:34:13.901537 2017,TAG222:001,TAG333:b.abc.com,TAG444:url /front/themes/blueTAG999
现在想达到的目标是 做成 1分钟内
类型相同(TAG222)同时主机名相同(TAG333)同时URL相同(TAG444)的只保留一条(时间细节不敏感,哪个都可以)
不知道这么复杂的能不能做到,谢谢各位大神
作者:
jason680
时间:
2017-06-01 16:59
回复
1#
mudfr0g
$ awk -F, '{if(!match($1,"([0-9][0-9]:[0-9][0-9]):",m))next;if(m[1]!=k)delete a;k=m[1]}!a[$2,$3,$4]++' FILE
TAG111:Tue Apr 18 13:54:14.808748 2017,TAG222:001,TAG333:a.abc.com,TAG444:url /front/themes/blueTAG999
TAG111:Tue Apr 18 14:34:13.850987 2017,TAG222:002,TAG333:b.abc.com,TAG444:url /front/themes/redTAG999
TAG111:Tue Apr 18 14:34:13.851687 2017,TAG222:001,TAG333:c.abc.com,TAG444:url /front/themes/blueTAG999
TAG111:Tue Apr 18 14:34:13.890156 2017,TAG222:001,TAG333:b.abc.com,TAG444:url /front/themes/blueTAG999
作者:
本友会机友会摄友会
时间:
2017-06-01 17:32
提示:
作者被禁止或删除 内容自动屏蔽
作者:
mudfr0g
时间:
2017-06-01 19:55
摩拜楼上 太强大了
作者:
本友会机友会摄友会
时间:
2017-06-02 13:48
提示:
作者被禁止或删除 内容自动屏蔽
欢迎光临 Chinaunix (http://bbs.chinaunix.net/)
Powered by Discuz! X3.2