免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 如何用shell实现如下需求
最近访问板块 发新帖
查看: 1651 | 回复: 5
打印 上一主题 下一主题

如何用shell实现如下需求 [复制链接]

sobigapple

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2010-01-09 21:51 |只看该作者 |倒序浏览
有一个文件：

格式如下
AAAAAAAAAAAAAAAAAAAAAAAA
CCCCCCCCCCCCCCCCCCCCC
CCCCCCCCCCCCCCCCCCCCC
DDDDDDDDDDDDDDDDDDDDD
EEEEEEEEEEEEEEEEEEEEEEE

如何最简单的从这个文件找如下如下结果(重复的结果只出来一次),自己想了一下，实现是可以实现，觉得比较麻烦，
有没有哪个哥两三行就可以搞定的？

AAAAAAAAAAAAAAAAAAAAAAAA
CCCCCCCCCCCCCCCCCCCCC
DDDDDDDDDDDDDDDDDDDDD
EEEEEEEEEEEEEEEEEEEEEEE
Shell_HAT

论坛徽章:
33
ChinaUnix元老 日期:2015-02-02 08:55:39CU十四周年纪念徽章 日期:2019-08-20 08:30:3720周年集字徽章-周 日期:2020-10-28 14:13:3020周年集字徽章-20 日期:2020-10-28 14:04:3019周年集字徽章-CU 日期:2019-09-08 23:26:2519周年集字徽章-19 日期:2019-08-27 13:31:262016科比退役纪念章 日期:2022-04-24 14:33:24
2楼 [报告]
发表于 2010-01-09 22:49 |只看该作者

  2. awk '!a[$0]++' urfile
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Shell_HAT

论坛徽章:
33
ChinaUnix元老 日期:2015-02-02 08:55:39CU十四周年纪念徽章 日期:2019-08-20 08:30:3720周年集字徽章-周 日期:2020-10-28 14:13:3020周年集字徽章-20 日期:2020-10-28 14:04:3019周年集字徽章-CU 日期:2019-09-08 23:26:2519周年集字徽章-19 日期:2019-08-27 13:31:262016科比退役纪念章 日期:2022-04-24 14:33:24
3楼 [报告]
发表于 2010-01-09 22:50 |只看该作者

  2. sort -u urfile
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ubuntuer

论坛徽章:
0
4楼 [报告]
发表于 2010-01-09 23:40 |只看该作者
awk '!a[$0]++' urfile
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
cxfcxf

论坛徽章:
0
5楼 [报告]
发表于 2010-01-10 01:47 |只看该作者
如果重复的都是上下行关系...
直接uniq filename 就可以了

如果有隔行重复的
就sort -u filename
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
hello_unix

论坛徽章:
0
6楼 [报告]
发表于 2010-01-11 01:19 |只看该作者
awk '!a[$0]++' urfile
这个比较好，sort命令会排序的，如果想要排序，可以用sort
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP