免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 操作系统 › Linux新手园地 › 在linux系统中，现在有一个带有重复项的记录文件，请问 ...

最近访问板块

发新帖

查看: 4060 | 回复: 9

上一主题

下一主题

在linux系统中，现在有一个带有重复项的记录文件，请问如何去掉其中的重复项 [复制链接]

论坛徽章:: 0

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2012-02-13 10:58 |只看该作者 |倒序浏览

例如：
1234
12345
12345
123456
123456
1234
123
1
筛选出的结果为：
1
123
重复的全都不要。

文库|博客

论坛徽章:: 2

射手座
日期:2014-10-10 15:59:47

15-16赛季CBA联赛之上海
日期:2016-03-03 10:27:14

2楼 [报告]

发表于 2012-02-13 13:37 |只看该作者

回复 1# 416219446

sort <file |uniq -u

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 1

CU十二周年纪念徽章
日期:2013-10-24 15:41:34

3楼 [报告]

发表于 2012-02-13 14:10 |只看该作者

这个要学习了。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

不就是个名字吗

论坛徽章:: 0

4楼 [报告]

发表于 2012-02-13 14:25 |只看该作者

恩呢要学习了

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2012-02-13 14:28 |只看该作者

"重复的全都不要"

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

6楼 [报告]

发表于 2012-02-13 19:36 |只看该作者

2楼的可行，不过要是重复的保留一项该怎么做呢？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

7楼 [报告]

发表于 2012-02-13 20:11 |只看该作者

回复 6# asplinux

那就去掉 -u呗

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

8楼 [报告]

发表于 2012-02-13 20:36 |只看该作者

回复 7# taojie2000

谢谢，首次见到uniq命令。刚查看了下uniq的man手册，受教了

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 33

ChinaUnix元老
日期:2015-02-02 08:55:39

CU十四周年纪念徽章
日期:2019-08-20 08:30:37

20周年集字徽章-周
日期:2020-10-28 14:13:30

20周年集字徽章-20
日期:2020-10-28 14:04:30

19周年集字徽章-CU
日期:2019-09-08 23:26:25

19周年集字徽章-19
日期:2019-08-27 13:31:26

2016科比退役纪念章
日期:2022-04-24 14:33:24

9楼 [报告]

发表于 2012-02-13 21:22 |只看该作者

多学习一些基础命令，总是有好处的。
http://bbs.chinaunix.net/thread-452942-1-1.html

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

10楼 [报告]

发表于 2012-02-14 17:34 |只看该作者

这个我不大清楚啊

http://www.guilige.com

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 操作系统 › Linux新手园地 › 在linux系统中，现在有一个带有重复项的记录文件，请问 ...

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP