免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Shell › 我想过滤重复域，该怎么做？

最近访问板块

发新帖

查看: 1676 | 回复: 7

上一主题

下一主题

[文本处理] 我想过滤重复域，该怎么做？ [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2012-09-14 19:03 |只看该作者 |倒序浏览

我想过滤重复域，该怎么做？
例如，id:261068 和 code:102 有四行相同，我想通过命令过滤掉，只保留其中一行，

id:261068 AID: 1247390583 Error code:102
id:261068 AID: 1247390200 Error code:102
id:261068 AID: 1247390105 Error code:102
id:261068 AID: 1247390783 Error code:102
id:42132 AID: 1235615282 Error code:404
id:42132 AID: 1246819659 Error code:404
id:7387 AID: 1363426088 Error code:102
id:7387 AID: 1363426381 Error code:102
id:42132 AID: 1117287712 Error code:404
id:42132 AID: 1174863788 Error code:404
id:42132 AID: 1199131510 Error code:404

各位帮帮忙，谢谢了！！

文库|博客

论坛徽章:: 10

2015亚冠之全北现代
日期:2015-06-16 09:16:24

CU十四周年纪念徽章
日期:2016-08-08 11:20:39

15-16赛季CBA联赛之青岛
日期:2016-02-17 09:14:20

15-16赛季CBA联赛之北京
日期:2016-02-12 22:23:32

15-16赛季CBA联赛之同曦
日期:2016-01-15 11:11:08

15-16赛季CBA联赛之广东
日期:2016-01-15 10:46:42

15-16赛季CBA联赛之北控
日期:2015-12-19 18:20:00

2015亚冠之山东鲁能
日期:2015-07-02 14:03:48

2015亚冠之吉达阿赫利
日期:2015-06-28 14:08:40

15-16赛季CBA联赛之天津
日期:2017-04-21 10:37:41

2楼 [报告]

发表于 2012-09-14 19:25 |只看该作者

头和尾相同，中间不相同，你要保留那一行。你的问题太有深度了吧？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

3楼 [报告]

发表于 2012-09-14 19:47 |只看该作者

保留重复域的第一行
awk '!a[$1$NF]++'

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2012-09-15 16:58 |只看该作者

大神解释下，没看太懂～～～回复 3# kk5234

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2012-09-15 18:42 |只看该作者

回复 4# xu_liuzhen

哪里没懂啊，看看下面这个贴子。
http://bbs.chinaunix.net/forum.p ... 1672726#pid11904888

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

6楼 [报告]

发表于 2012-09-16 10:39 |只看该作者

现在懂了，谢谢了
这个文本由第一个域ｉｄ就可以区分出来是否重复所以用$1,如果需要区分的域不止一个，假如要同时比对$1和$3，能否写成awk '!a[$1$3]++' ?
或者有其他写法？

回复 5# kk5234

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

7楼 [报告]

发表于 2012-09-16 16:03 |只看该作者

回复 6# xu_liuzhen

可以的。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

8楼 [报告]

发表于 2012-09-17 11:44 |只看该作者

好的，谢谢了回复 7# kk5234

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › Shell › 我想过滤重复域，该怎么做？

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP