免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 按照第一列，去掉重复数据的问题
12下一页
最近访问板块 发新帖
查看: 5891 | 回复: 12
打印 上一主题 下一主题

按照第一列，去掉重复数据的问题 [复制链接]

hover_sky

论坛徽章:
1
数据库技术版块每日发帖之星 日期:2015-08-13 06:20:00
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2011-10-20 09:52 |只看该作者 |倒序浏览
本帖最后由 hover_sky 于 2011-10-20 11:05 编辑

t1.txt

dd:00
dd:01
ff:90
ff:80
dd:90

希望得到结果：
dd:00
ff:90


按照：分隔，分成2列，把第一列中每个不同的值，取出它在在t1.txt 中出现第一次的行的记录。


请大伙支支招哦，谢谢
HH106

论坛徽章:
9
2015亚冠之阿尔纳斯尔 日期:2015-09-10 16:21:162015亚冠之塔什干火车头 日期:2015-07-01 16:23:022015年亚洲杯之巴勒斯坦 日期:2015-04-20 17:19:46子鼠 日期:2014-11-13 09:51:26未羊 日期:2014-08-28 18:13:36技术图书徽章 日期:2014-02-21 09:30:15酉鸡 日期:2014-01-14 11:12:49天蝎座 日期:2013-12-09 17:56:53平安夜徽章 日期:2015-12-26 00:06:30
2楼 [报告]
发表于 2011-10-20 10:22 |只看该作者
看不懂，凭啥取dd:00，不取dd:01,人家也是独生子女.
难道取第一次出现?
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
hover_sky

论坛徽章:
1
数据库技术版块每日发帖之星 日期:2015-08-13 06:20:00
3楼 [报告]
发表于 2011-10-20 10:23 |只看该作者
回复 2# HH106


    是的。不管第二列
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
_man_mk_

论坛徽章:
0
4楼 [报告]
发表于 2011-10-20 10:37 |只看该作者
sort  filename  | uniq -w 3


这样行否？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
springwind426

论坛徽章:
0
5楼 [报告]
发表于 2011-10-20 10:43 |只看该作者

  2. awk -F':' '!a[$1]++' datafile

复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
mpstat

论坛徽章:
0
6楼 [报告]
发表于 2011-10-20 10:53 |只看该作者
大哥你的标题写的是排序问题,你的主题意思我看上去好像是去重问题...你也不讲讲去完重了要不要排序啊
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
hover_sky

论坛徽章:
1
数据库技术版块每日发帖之星 日期:2015-08-13 06:20:00
7楼 [报告]
发表于 2011-10-20 11:04 |只看该作者
本帖最后由 hover_sky 于 2011-10-20 11:22 编辑

回复 6# mpstat


    嗯，我标题写的不对。改成去重吧？谢谢
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
hover_sky

论坛徽章:
1
数据库技术版块每日发帖之星 日期:2015-08-13 06:20:00
8楼 [报告]
发表于 2011-10-20 11:09 |只看该作者
回复 4# _man_mk_

    谢谢
    接近结果

但是

数据

jj:00
dd:00
dd:01
ff:90
ff:80
dd:90
jj:01


显示的结果是
dd:00
ff:80
jj:00

我需要的是

jj:00
dd:00
ff:80
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
hover_sky

论坛徽章:
1
数据库技术版块每日发帖之星 日期:2015-08-13 06:20:00
9楼 [报告]
发表于 2011-10-20 11:10 |只看该作者
回复 5# springwind426


    谢谢。


    得到我需要的结果。

   高手啊
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
waker

论坛徽章:
8
摩羯座 日期:2014-11-26 18:59:452015亚冠之浦和红钻 日期:2015-06-23 19:10:532015亚冠之西悉尼流浪者 日期:2015-08-21 08:40:5815-16赛季CBA联赛之山东 日期:2016-01-31 18:25:0515-16赛季CBA联赛之四川 日期:2016-02-16 16:08:30程序设计版块每日发帖之星 日期:2016-06-29 06:20:002017金鸡报晓 日期:2017-01-10 15:19:5615-16赛季CBA联赛之佛山 日期:2017-02-27 20:41:19
10楼 [报告]
发表于 2011-10-20 11:18 |只看该作者
大哥你的标题写的是排序问题,你的主题意思我看上去好像是去重问题...你也不讲讲去完重了要不要排序啊
mpstat 发表于 2011-10-20 10:53


慢慢就习惯了
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP