免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 根据指定列，去除重复行
12下一页
最近访问板块 发新帖
查看: 4076 | 回复: 16
打印 上一主题 下一主题

[文本处理] 根据指定列，去除重复行 [复制链接]

yjyjyj608

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2014-01-15 04:24 |只看该作者 |倒序浏览
请教各位高人一个需求，文件如下。
需求：根据指定列，去除重复行
根据第三列打印去除重复行，不能改变文件原有排序。只是根据第三列的值去重。这样一个sed要怎样写。请教各位大神。
* 99      578a    F  Po10
* 249     578a    F  Po10
* 99      5e8e    F  Po10
* 249     5e8e    F  Po10
* 99      3bb2    F  Po11
* 249     3bb2    F  Po11
* 99      5ea2    F  Po11
* 249     5ea2    F  Po11
* 99      658a    F  Po5
* 249     658a    F  Po5
* 99      5d3a    F  Po6
* 249     5d3a    F  Po6
* 99      de9c    F  Po5
* 249     de9c    F  Po5
* 336     de9c    F  Po5
* 348     de9c    F  Po5
* 349     de9c    F  Po5
* 352     de9c    F  Po5
* 360     de9c    F  Po5
* 700     de9c    F  Po5
* 701     de9c    F  Po5
* 708     de9c    F  Po5
* 732     de9c    F  Po5
* 764     de9c    F  Po5
* 796     de9c    F  Po5
blackold

论坛徽章:
5
2015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:50:282015年亚洲杯之朝鲜 日期:2015-03-13 22:47:33IT运维版块每日发帖之星 日期:2016-01-09 06:20:00IT运维版块每周发帖之星 日期:2016-03-07 16:27:44
2楼 [报告]
发表于 2014-01-15 04:59 |只看该作者
回复 1# yjyjyj608

问题描述不清楚。


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
灿烂小猪

论坛徽章:
0
3楼 [报告]
发表于 2014-01-15 08:16 |只看该作者
回复 2# blackold

起来真早呀，不到5点！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
laliheyi

论坛徽章:
6
摩羯座 日期:2013-12-27 09:45:04技术图书徽章 日期:2014-01-27 12:40:06辰龙 日期:2014-02-28 15:12:52巳蛇 日期:2014-03-21 17:06:27未羊 日期:2014-04-15 20:12:41黑曼巴 日期:2016-08-02 11:00:06
4楼 [报告]
发表于 2014-01-15 09:08 |只看该作者
回复 1# yjyjyj608

第三列？！如何区分列呢？
   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yestreenstars

论坛徽章:
32
处女座 日期:2013-11-20 23:41:20双子座 日期:2014-06-11 17:20:43戌狗 日期:2014-06-16 11:05:00处女座 日期:2014-07-22 17:30:47狮子座 日期:2014-07-28 15:38:17金牛座 日期:2014-08-05 16:34:01亥猪 日期:2014-08-18 13:34:25白羊座 日期:2014-09-02 15:03:55金牛座 日期:2014-11-10 10:23:58处女座 日期:2014-12-02 09:17:52程序设计版块每日发帖之星 日期:2015-06-16 22:20:002015亚冠之塔什干火车头 日期:2015-06-20 23:28:22
5楼 [报告]
发表于 2014-01-15 09:10 |只看该作者
把你想要的结果贴出来，这样比你描述问题要强！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
这个冬天不冷

论坛徽章:
1
2015年迎新春徽章 日期:2015-03-04 09:58:11
6楼 [报告]
发表于 2014-01-15 09:12 |只看该作者
文本处理问题请教的基本要素：
1 原始文本
2 需求
3 处理之后的文本
请按照这个格式来一份，此类型的题目在shell板块不是什么大事
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
li0924

论坛徽章:
7
亥猪 日期:2013-10-10 17:00:29辰龙 日期:2013-10-12 16:23:19卯兔 日期:2013-11-18 17:01:27金牛座 日期:2014-09-09 10:17:052015七夕节徽章 日期:2015-08-21 11:06:172015亚冠之柏太阳神 日期:2015-09-25 13:56:42数据库技术版块每日发帖之星 日期:2016-08-06 06:20:00
7楼 [报告]
发表于 2014-01-15 09:18 |只看该作者
本帖最后由 li0924 于 2014-01-15 09:20 编辑

哇哈哈！大家上班第一件事就是泡论坛！
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
dn833

论坛徽章:
5
未羊 日期:2014-08-04 16:15:21天秤座 日期:2014-08-13 13:52:372015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:56:112015亚冠之浦和红钻 日期:2015-06-29 15:30:48
8楼 [报告]
发表于 2014-01-15 09:19 |只看该作者
楼上几个都这么小心翼翼啊。。。。。。哥大胆的当把算命先生吧
  1. awk '!a[$3]++'
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
HH106

论坛徽章:
9
2015亚冠之阿尔纳斯尔 日期:2015-09-10 16:21:162015亚冠之塔什干火车头 日期:2015-07-01 16:23:022015年亚洲杯之巴勒斯坦 日期:2015-04-20 17:19:46子鼠 日期:2014-11-13 09:51:26未羊 日期:2014-08-28 18:13:36技术图书徽章 日期:2014-02-21 09:30:15酉鸡 日期:2014-01-14 11:12:49天蝎座 日期:2013-12-09 17:56:53平安夜徽章 日期:2015-12-26 00:06:30
9楼 [报告]
发表于 2014-01-15 10:03 |只看该作者
起得真早。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yjyjyj608

论坛徽章:
0
10楼 [报告]
发表于 2014-01-16 15:13 |只看该作者
不好意思，谢谢各位热心的解答。
原文件:
* 99      578a    F  Po10
* 249     578a    F  Po10
* 99      5e8e    F  Po10
* 249     5e8e    F  Po10
* 99      3bb2    F  Po11
* 249     3bb2    F  Po11
* 99      5ea2    F  Po11
* 249     5ea2    F  Po11
* 99      658a    F  Po5
* 249     658a    F  Po5
* 99      5d3a    F  Po6
* 249     5d3a    F  Po6
* 99      de9c    F  Po5
* 249     de9c    F  Po5
* 336     de9c    F  Po5
* 348     de9c    F  Po5
* 349     de9c    F  Po5
* 352     de9c    F  Po5
* 360     de9c    F  Po5
* 700     de9c    F  Po5
* 701     de9c    F  Po5
* 708     de9c    F  Po5
* 732     de9c    F  Po5
* 764     de9c    F  Po5
* 796     de9c    F  Po5

需求改成如下:
* 99      578a    F  Po10
* 99      5e8e    F  Po10
* 99      3bb2    F  Po11
* 99      5ea2    F  Po11
* 99      658a    F  Po5
* 99      5d3a    F  Po6
* 99      de9c    F  Po5
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP