难题：删除每行中含有的重复的单词（同行单词唯一）

iocg

我有一个文本，里面的单词以空格隔开。每行大约含有3~15个单词
怎样才能将每行中重复的单词删除，只保留第一个呢？

1. aaaa  ssss   dddd  ffff  iocg  cccc  ssss   cccc  iocg
   
2. vvvv  dddd  ssss  iocg  ggg  iocg
   
3. ddd  www  qqq  trtt  rrr  33 w  twer
   
4. rwer   rwe  ele  tw   t44   ytry  ele  werw
   
5. ......

复制代码

每行可能含有两个单词重复，剔除后

1. aaaa  ssss   dddd  ffff  iocg  cccc   
   
2. vvvv  dddd  ssss  iocg  ggg
   
3. ddd  www  qqq  trtt  rrr  33 w  twer
   
4. rwer   rwe  ele  tw   t44   ytry werw
   
5. ......

复制代码

有解吗？？

reyleon

1. awk '{for(i=1;i<=NF;i++)if(++a[$i]==1)s=s?s" "$i:$i;print s;s="";delete a}'

复制代码

dn833

1. awk '{for(i=1;i<=NF;i++)a[$i,NR]++}{for(j in a){split(j,b,SUBSEP);if(b[2]==NR)printf b[1]" "} print ""}'

复制代码

Herowinter

回复 1# iocg

1. awk '{s=$1;for(i=2;i<=NF;i++){if(!a[$i]++)s=s" "$i};delete a;print s}' i
   
2. aaaa ssss dddd ffff iocg cccc
   
3. vvvv dddd ssss iocg ggg
   
4. ddd www qqq trtt rrr 33 w twer
   
5. rwer rwe ele tw t44 ytry werw
   
6. ......
   

复制代码

目测楼主的结果第一行ssss重复的没删掉。
   

LikeLx

1. awk '{for(i=0;i++<NF;) if(!a[$i]++)printf $i" ";print"";delete a}'

复制代码

Herowinter

回复 4# Herowinter
。。。这个代码有点bug，a[$1]忘记统计了。。。

1. awk '{s=$1;a[$1]++;for(i=2;i<=NF;i++){if(!a[$i]++)s=s" "$i};delete a;print s}' i

复制代码

expert1

这不是月经问题吗，无非for循环一下，!a[$i]++;最后记得delete a

ly5066113

1. sed -r ':a;s/\<([^ ]+)\>(.*)\<\1\>/\1\2/;ta' file

复制代码

seesea2517

回复 7# expert1


    不delete是否在awk退出后会清内存？还真是从来没用过delete命令。

Herowinter

回复 9# seesea2517
不delete结果肯定有问题啊，楼主的需求是每行单独统计。