免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 5613 | 回复: 9

怎样删除每行的重复字符串,保留第一个? [复制链接]

论坛徽章:
0
发表于 2012-04-26 10:28 |显示全部楼层
net123 aaa bbb net123
net456 ccc ddd net456



结果:
net123 aaa bbb
net456 ccc ddd

论坛徽章:
2
射手座
日期:2014-10-10 15:59:4715-16赛季CBA联赛之上海
日期:2016-03-03 10:27:14
发表于 2012-04-26 10:51 |显示全部楼层
回复 1# sauer




    awk '{for(i=1;i<=NF;i++)if(a[$i]++)$i="";NF+=0;delete a}1'

论坛徽章:
3
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:51:162015年亚洲杯之阿曼
日期:2015-04-07 20:00:59
发表于 2012-04-26 11:34 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
15
2015年辞旧岁徽章
日期:2015-03-03 16:54:15双鱼座
日期:2015-01-15 17:29:44午马
日期:2015-01-06 17:06:51子鼠
日期:2014-11-24 10:11:13寅虎
日期:2014-08-18 07:10:55酉鸡
日期:2014-04-02 12:24:51双子座
日期:2014-04-02 12:19:44天秤座
日期:2014-03-17 11:43:36亥猪
日期:2014-03-13 08:13:51未羊
日期:2014-03-11 12:42:03白羊座
日期:2013-11-20 10:15:18CU大牛徽章
日期:2013-04-17 11:48:45
发表于 2012-04-26 14:37 |显示全部楼层
  1. awk '{for (i=1;i<=NF;i++) $i=a[NR FS $i]++?"":$i}1' infile
复制代码

论坛徽章:
0
发表于 2012-04-26 15:55 |显示全部楼层
awk '{for(i=1;i<=NF;i++)printf !a[$i]++?$i" ":"";print ""}'

论坛徽章:
0
发表于 2012-04-27 20:38 |显示全部楼层
回复 3# zooyo
  1. awk '{for(i=1;i<=NF;i++) {if(!a[$i]++) printf $i FS } printf"\n"} ' file
复制代码

论坛徽章:
3
2015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:51:162015年亚洲杯之阿曼
日期:2015-04-07 20:00:59
发表于 2012-04-27 21:06 |显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
0
发表于 2012-04-27 21:20 |显示全部楼层
回复 7# zooyo


    我没说什么呀

论坛徽章:
0
发表于 2019-07-05 16:13 |显示全部楼层
回复 2# yinyuemi

可以详细解释一下这行代码吗,看不懂什么意思。思路是什么

论坛徽章:
0
发表于 2019-07-16 14:30 |显示全部楼层
$ cat file

yy net123 yy aaa bbb net123 gg bb tt1 net123 oo
dd net456 ccc ddd net456 ff ff 456 net456 qq

$ cat file2

net123 aaa bbb net123
net456 ccc ddd net456

$ sed -r ':a;s/\b(\w+)\b(.+)\b\1\b\s*/\1\2/;ta' file

yy net123 aaa bbb gg bb tt1 oo
dd net456 ccc ddd ff 456 qq



$ sed -r ':a;s/\b(\w+)\b(.+)\b\1\b\s*/\1\2/;ta' file2

net123 aaa bbb
net456 ccc ddd
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP