免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 能帮忙写一个shell 去重么？
最近访问板块 发新帖
查看: 2864 | 回复: 7
打印 上一主题 下一主题

[文本处理] 能帮忙写一个shell 去重么？ [复制链接]

yangvxin

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2013-04-01 15:05 |只看该作者 |倒序浏览
能帮忙写一个shell 去重么？
非常感谢。文件内容(key/value) 形式。

a b
a b
a b
c d
c d
e f
g h

去重后得到：
a b
c d
e f
g h
yestreenstars

论坛徽章:
32
处女座 日期:2013-11-20 23:41:20双子座 日期:2014-06-11 17:20:43戌狗 日期:2014-06-16 11:05:00处女座 日期:2014-07-22 17:30:47狮子座 日期:2014-07-28 15:38:17金牛座 日期:2014-08-05 16:34:01亥猪 日期:2014-08-18 13:34:25白羊座 日期:2014-09-02 15:03:55金牛座 日期:2014-11-10 10:23:58处女座 日期:2014-12-02 09:17:52程序设计版块每日发帖之星 日期:2015-06-16 22:20:002015亚冠之塔什干火车头 日期:2015-06-20 23:28:22
2楼 [报告]
发表于 2013-04-01 15:14 |只看该作者
  1. awk '!a[$0]++'
复制代码
请善用论坛的搜索功能！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
personball

论坛徽章:
0
3楼 [报告]
发表于 2013-04-01 15:20 |只看该作者
本帖最后由 personball 于 2013-04-01 21:27 编辑

借用2楼的，继续补充下awk '{!a[$0]++}END{for (i in a) print i}'
后记：
看错了。。
awk '!a[$0]++'
和awk  ‘{!a[$0]++}’ 有明显不同。。。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
wenhq

论坛徽章:
16
IT运维版块每日发帖之星 日期:2015-10-02 06:20:00IT运维版块每月发帖之星 日期:2015-09-11 19:30:52IT运维版块每周发帖之星 日期:2015-09-11 19:20:31IT运维版块每日发帖之星 日期:2015-08-26 06:20:00每日论坛发贴之星 日期:2015-08-20 06:20:00IT运维版块每日发帖之星 日期:2015-08-20 06:20:002015年辞旧岁徽章 日期:2015-03-03 16:54:15金牛座 日期:2014-05-04 16:58:09双子座 日期:2013-12-17 16:44:37辰龙 日期:2013-11-22 15:20:59狮子座 日期:2013-11-18 22:55:08射手座 日期:2013-11-12 10:54:26
4楼 [报告]
发表于 2013-04-01 16:12 |只看该作者
难道也属于月经贴？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
关阴月飞

论坛徽章:
39
辰龙 日期:2013-08-21 15:45:192015亚冠之广州富力 日期:2015-05-12 16:34:52亥猪 日期:2015-03-03 17:22:00申猴 日期:2015-03-03 17:21:37未羊 日期:2014-10-10 13:45:41戌狗 日期:2014-06-17 09:53:29巨蟹座 日期:2014-06-12 23:17:17双鱼座 日期:2014-06-10 12:42:44寅虎 日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫 日期:2015-05-24 15:24:35黄金圣斗士 日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林 日期:2017-06-24 16:43:52
5楼 [报告]
发表于 2013-04-01 16:17 |只看该作者
回复 1# yangvxin
  1. sort -u
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Shell_HAT

论坛徽章:
33
ChinaUnix元老 日期:2015-02-02 08:55:39CU十四周年纪念徽章 日期:2019-08-20 08:30:3720周年集字徽章-周 日期:2020-10-28 14:13:3020周年集字徽章-20 日期:2020-10-28 14:04:3019周年集字徽章-CU 日期:2019-09-08 23:26:2519周年集字徽章-19 日期:2019-08-27 13:31:262016科比退役纪念章 日期:2022-04-24 14:33:24
6楼 [报告]
发表于 2013-04-01 20:10 |只看该作者
回复 3# personball


    2楼的代码能够非常好的保证原始顺序，为何你要给改成乱序呢？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yinwei2012

论坛徽章:
0
7楼 [报告]
发表于 2013-04-01 20:40 |只看该作者
明显月经贴  前几天刚有人问过
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
personball

论坛徽章:
0
8楼 [报告]
发表于 2013-04-01 21:23 |只看该作者
回复 6# Shell_HAT


    {:2_177:} 我错了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP