免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 3个文件的去重生成新文件
最近访问板块 发新帖
查看: 2311 | 回复: 5
打印 上一主题 下一主题

[文本处理] 3个文件的去重生成新文件 [复制链接]

prcardin

论坛徽章:
8
戌狗 日期:2013-10-12 11:37:19双子座 日期:2014-05-06 14:40:39巨蟹座 日期:2014-06-14 09:22:18戌狗 日期:2014-09-18 16:05:44巨蟹座 日期:2014-12-27 16:37:26酉鸡 日期:2015-01-20 18:39:022015年亚洲杯之沙特阿拉伯 日期:2015-04-20 22:38:242015亚冠之萨济拖拉机 日期:2015-06-19 16:01:03
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2014-05-22 21:14 |只看该作者 |倒序浏览
3个文件a b c都包含两列，以第一列去重复，生成第4个文件d
prcardin

论坛徽章:
8
戌狗 日期:2013-10-12 11:37:19双子座 日期:2014-05-06 14:40:39巨蟹座 日期:2014-06-14 09:22:18戌狗 日期:2014-09-18 16:05:44巨蟹座 日期:2014-12-27 16:37:26酉鸡 日期:2015-01-20 18:39:022015年亚洲杯之沙特阿拉伯 日期:2015-04-20 22:38:242015亚冠之萨济拖拉机 日期:2015-06-19 16:01:03
2楼 [报告]
发表于 2014-05-22 21:15 |只看该作者
cat  *.txt |sort -k1,1 -u >>2014.txt
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Herowinter

论坛徽章:
769
金牛座 日期:2014-02-26 17:49:58水瓶座 日期:2014-02-26 18:10:15白羊座 日期:2014-04-15 19:29:52寅虎 日期:2014-04-17 19:43:21酉鸡 日期:2014-04-19 21:24:10子鼠 日期:2014-04-22 13:55:24卯兔 日期:2014-04-22 14:20:58亥猪 日期:2014-04-22 16:13:09狮子座 日期:2014-05-05 22:31:17摩羯座 日期:2014-05-06 10:32:53处女座 日期:2014-05-12 09:23:11子鼠 日期:2014-05-21 18:21:27
3楼 [报告]
发表于 2014-05-22 21:18 |只看该作者
楼主在自娱自乐吗？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
prcardin

论坛徽章:
8
戌狗 日期:2013-10-12 11:37:19双子座 日期:2014-05-06 14:40:39巨蟹座 日期:2014-06-14 09:22:18戌狗 日期:2014-09-18 16:05:44巨蟹座 日期:2014-12-27 16:37:26酉鸡 日期:2015-01-20 18:39:022015年亚洲杯之沙特阿拉伯 日期:2015-04-20 22:38:242015亚冠之萨济拖拉机 日期:2015-06-19 16:01:03
4楼 [报告]
发表于 2014-05-22 21:20 |只看该作者
   发出去了问题，也还在思考，突然想到这个可以

回复 3# Herowinter


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yestreenstars

论坛徽章:
32
处女座 日期:2013-11-20 23:41:20双子座 日期:2014-06-11 17:20:43戌狗 日期:2014-06-16 11:05:00处女座 日期:2014-07-22 17:30:47狮子座 日期:2014-07-28 15:38:17金牛座 日期:2014-08-05 16:34:01亥猪 日期:2014-08-18 13:34:25白羊座 日期:2014-09-02 15:03:55金牛座 日期:2014-11-10 10:23:58处女座 日期:2014-12-02 09:17:52程序设计版块每日发帖之星 日期:2015-06-16 22:20:002015亚冠之塔什干火车头 日期:2015-06-20 23:28:22
5楼 [报告]
发表于 2014-05-22 23:39 |只看该作者
发帖时应注意将问题具体化，而不是抽象化，不然别人连看的兴趣都没有，就算写出来了，也未必符合你的要求。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
asdf2110

论坛徽章:
7
数据库技术版块每日发帖之星 日期:2015-08-08 06:20:00数据库技术版块每日发帖之星 日期:2015-08-29 06:20:00数据库技术版块每日发帖之星 日期:2015-08-29 06:20:00数据库技术版块每日发帖之星 日期:2015-09-18 06:20:00数据库技术版块每周发帖之星 日期:2015-11-06 19:56:51数据库技术版块每日发帖之星 日期:2016-01-22 06:20:00数据库技术版块每日发帖之星 日期:2016-02-05 06:20:00
6楼 [报告]
发表于 2014-05-23 08:46 |只看该作者
  1. cat a b c | awk '!a[$1]++' > d
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP