免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 操作系统 › Linux系统管理 › 如何删除重复的字符串
最近访问板块 发新帖
查看: 2203 | 回复: 5
打印 上一主题 下一主题

[系统管理] 如何删除重复的字符串 [复制链接]

bill_ding007

论坛徽章:
1
数据库技术版块每日发帖之星 日期:2015-10-11 06:20:00
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2016-08-19 20:12 |只看该作者 |倒序浏览
有这样一个需求：一个文档中内容如下：
net123 aaa bbb net123
net456 ccc ddd net456
3355  kkk jjjj      jjjj   6a57
.....

要如何将每一行中的重复的字符串删除，以空格为分隔，如每一行我想得到的结果是：aaa bbb        net123全部删除！
在shell中要如何实现？
字符串, 如何
qq58945591

论坛徽章:
10
金牛座 日期:2014-09-16 19:02:48技术图书徽章 日期:2015-11-24 01:37:29操作系统版块每日发帖之星 日期:2015-11-18 06:20:002015年亚洲杯之沙特阿拉伯 日期:2015-04-13 17:33:462015年迎新春徽章 日期:2015-03-04 09:51:162015年辞旧岁徽章 日期:2015-03-03 16:54:15午马 日期:2014-12-04 19:33:55白羊座 日期:2014-09-17 19:34:42巨蟹座 日期:2014-09-16 21:09:4815-16赛季CBA联赛之同曦 日期:2016-06-27 23:23:07
2楼 [报告]
发表于 2016-08-19 23:27 |只看该作者
本帖最后由 qq58945591 于 2016-08-19 23:29 编辑
bill_ding007 发表于 2016-08-19 20:12
有这样一个需求：一个文档中内容如下：
net123 aaa bbb net123
net456 ccc ddd net456


awk '{for(i=1;i<=NF;i++)a[$i,NR]++}{for(j in a){split(j,b,SUBSEP);if(b[2]==NR&&a[b[1],NR]=1)printf b[1]" "} printf "\n"}' file
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
action08

论坛徽章:
223
2022北京冬奥会纪念版徽章 日期:2015-08-10 16:30:32操作系统版块每日发帖之星 日期:2016-05-10 19:22:58操作系统版块每日发帖之星 日期:2016-02-18 06:20:00操作系统版块每日发帖之星 日期:2016-03-01 06:20:00操作系统版块每日发帖之星 日期:2016-03-02 06:20:0015-16赛季CBA联赛之上海 日期:2019-09-20 12:29:3219周年集字徽章-周 日期:2019-10-01 20:47:4815-16赛季CBA联赛之八一 日期:2020-10-23 18:30:5320周年集字徽章-20 日期:2020-10-28 14:14:2615-16赛季CBA联赛之广夏 日期:2023-02-25 16:26:26CU十四周年纪念徽章 日期:2023-04-13 12:23:10操作系统版块每日发帖之星 日期:2016-05-10 19:22:58
3楼 [报告]
发表于 2016-08-20 13:02 来自手机 |只看该作者
脚本帝，快来领奖吧
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
bill_ding007

论坛徽章:
1
数据库技术版块每日发帖之星 日期:2015-10-11 06:20:00
4楼 [报告]
发表于 2016-08-22 10:42 |只看该作者
大神不对哦，你这样执行的结果是：
net123 bbb aaa
ddd ccc net456
我现在要让net123和net456也要被删除，这2个串被重复过，我想要结果是：
bbb aaa
ddd ccc
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
moperyblue

论坛徽章:
28
15-16赛季CBA联赛之八一 日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳 日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆 日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦 日期:2016-12-15 12:06:43CU十四周年纪念徽章 日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林 日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁 日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁 日期:2017-01-15 09:42:512016科比退役纪念章 日期:2017-02-06 17:21:50黑曼巴 日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海 日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛 日期:2017-03-18 22:00:44
5楼 [报告]
发表于 2016-10-06 22:47 |只看该作者
回复 4# bill_ding007


  1. sed -r ':b;s/(\S+\b)\s+(.*)\1\s*/@&/;:a;s/(@(\S+\b))(.*)\2\s*/\1\3/;ta;s/@\S+\s+//;tb'
复制代码

?
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP