免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Shell › 求助，如何找出一个域中的重复数据？

最近访问板块

发新帖

查看: 1386 | 回复: 3

上一主题

下一主题

求助，如何找出一个域中的重复数据？ [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2005-12-29 20:04 |只看该作者 |倒序浏览

我有一个文本文件，里面的第四个域的数值必须为唯一值，为了达到这个目的，必须检查是否有重复现象，求高手帮忙...

比如:
12345|45678|56789|308
12945|45378|56789|429
12645|45778|56289|378
12645|45778|56289|378

查出第四个域重复的数据.......

文库|博客

论坛徽章:: 0

2楼 [报告]

发表于 2005-12-29 20:13 |只看该作者

man sort

对第四列进行唯一排序即可

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 1

寅虎
日期:2015-01-23 02:35:47

3楼 [报告]

发表于 2005-12-29 21:25 |只看该作者

sort -k4 filename |uniq -c

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2005-12-29 22:51 |只看该作者

谢谢cuci....................

加一句
awk '{if($1 > 1)print$0}' filename

就得出我想要的结果了...........

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › Shell › 求助，如何找出一个域中的重复数据？

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP