免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › 一个文本过滤
12下一页
最近访问板块 发新帖
查看: 3523 | 回复: 13

[文本处理] 一个文本过滤 [复制链接]

leiminhaha

论坛徽章:
1
数据库技术版块每日发帖之星 日期:2015-12-13 06:20:00
发表于 2014-02-17 13:48 |显示全部楼层
样例如下
85|你好
85|哈哈
85|呵呵
74|你好
74|哈哈
74|呵呵

现想得到如下结果

85,74只出现一次 任意输出一行如下

85|你好
74|哈哈

其它组合不列举 awk,sed 只会一些简单的，但目前工作有很多文本需要进行处理 ，同时大家有什么好的进阶材料可以推荐一下。
Herowinter

论坛徽章:
768
金牛座 日期:2014-02-26 17:49:58水瓶座 日期:2014-02-26 18:10:15白羊座 日期:2014-04-15 19:29:52寅虎 日期:2014-04-17 19:43:21酉鸡 日期:2014-04-19 21:24:10子鼠 日期:2014-04-22 13:55:24卯兔 日期:2014-04-22 14:20:58亥猪 日期:2014-04-22 16:13:09狮子座 日期:2014-05-05 22:31:17摩羯座 日期:2014-05-06 10:32:53处女座 日期:2014-05-12 09:23:11子鼠 日期:2014-05-21 18:21:27
发表于 2014-02-17 13:50 |显示全部楼层
回复 1# leiminhaha
没看懂想要的结果，悟性高的兄弟来一个。

   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ly5066113

论坛徽章:
23
15-16赛季CBA联赛之吉林 日期:2017-12-21 16:39:27白羊座 日期:2014-10-27 11:14:37申猴 日期:2014-10-23 08:36:23金牛座 日期:2014-09-30 08:26:49午马 日期:2014-09-29 09:40:16射手座 日期:2014-11-25 08:56:112015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东 日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东 日期:2016-01-19 13:33:372015亚冠之山东鲁能 日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者 日期:2015-09-21 08:27:57
发表于 2014-02-17 13:55 |显示全部楼层
貌似这样就能满足需求：
  1. awk -F \| '!a[$1]++' file
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
Herowinter

论坛徽章:
768
金牛座 日期:2014-02-26 17:49:58水瓶座 日期:2014-02-26 18:10:15白羊座 日期:2014-04-15 19:29:52寅虎 日期:2014-04-17 19:43:21酉鸡 日期:2014-04-19 21:24:10子鼠 日期:2014-04-22 13:55:24卯兔 日期:2014-04-22 14:20:58亥猪 日期:2014-04-22 16:13:09狮子座 日期:2014-05-05 22:31:17摩羯座 日期:2014-05-06 10:32:53处女座 日期:2014-05-12 09:23:11子鼠 日期:2014-05-21 18:21:27
发表于 2014-02-17 13:59 |显示全部楼层
回复 3# ly5066113
原来需求是打印第一列（85，74）第一次出现的行啊。


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
leiminhaha

论坛徽章:
1
数据库技术版块每日发帖之星 日期:2015-12-13 06:20:00
发表于 2014-02-17 13:59 |显示全部楼层
  非常感谢哦。回复 3# ly5066113


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
ly5066113

论坛徽章:
23
15-16赛季CBA联赛之吉林 日期:2017-12-21 16:39:27白羊座 日期:2014-10-27 11:14:37申猴 日期:2014-10-23 08:36:23金牛座 日期:2014-09-30 08:26:49午马 日期:2014-09-29 09:40:16射手座 日期:2014-11-25 08:56:112015年辞旧岁徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:49:0315-16赛季CBA联赛之山东 日期:2017-12-21 16:39:1915-16赛季CBA联赛之广东 日期:2016-01-19 13:33:372015亚冠之山东鲁能 日期:2015-10-13 09:39:062015亚冠之西悉尼流浪者 日期:2015-09-21 08:27:57
发表于 2014-02-17 14:01 |显示全部楼层
回复 4# Herowinter


不是，需求是“任意输出一行”，所以，打印哪行都是对的。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
yestreenstars

论坛徽章:
32
处女座 日期:2013-11-20 23:41:20双子座 日期:2014-06-11 17:20:43戌狗 日期:2014-06-16 11:05:00处女座 日期:2014-07-22 17:30:47狮子座 日期:2014-07-28 15:38:17金牛座 日期:2014-08-05 16:34:01亥猪 日期:2014-08-18 13:34:25白羊座 日期:2014-09-02 15:03:55金牛座 日期:2014-11-10 10:23:58处女座 日期:2014-12-02 09:17:52程序设计版块每日发帖之星 日期:2015-06-16 22:20:002015亚冠之塔什干火车头 日期:2015-06-20 23:28:22
发表于 2014-02-17 14:01 |显示全部楼层
  1. awk -F\| '!a[$1]++'
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
leiminhaha

论坛徽章:
1
数据库技术版块每日发帖之星 日期:2015-12-13 06:20:00
发表于 2014-02-17 14:02 |显示全部楼层
不好意思 我没描述清楚。

需求只要是第一个字段不出现重复，就行。打印哪行都可以不限定于第一次。回复 4# Herowinter


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
leiminhaha

论坛徽章:
1
数据库技术版块每日发帖之星 日期:2015-12-13 06:20:00
发表于 2014-02-17 14:05
不好意思 我没描述清楚。

需求只要是第一个字段不出现重复，就行。打印哪行都可以不限定于第一次。回复 4# Herowinter


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
leiminhaha

论坛徽章:
1
数据库技术版块每日发帖之星 日期:2015-12-13 06:20:00
发表于 2014-02-17 14:05
谢谢哦！回复 7# yestreenstars


   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP