不同寻常的去重复问题~~求助大侠们

thc_forever

现在有个这样类型的文本需要处理，比如：
1 2 3 6 7
3 4 5
6 1 7 3
8 7 9

我想要选出文本中不重复元素的个数（例子的结果就是9个，分别是1 2 3 4 5 6 7 8 9）

不知道该怎么处理，求助....谢谢！

kk5234

1. echo '1 2 3 6 7
   
2. 3 4 5
   
3. 6 1 7 3
   
4. 8 7 9'|sed ':1;N;s/\n/ /g;$!b1;:2;s/\(. \)\(.*\)\1/\1\2/;t2'
   
5. 1 2 3 6 7 4 5  8 9

复制代码

thc_forever

回复 2# kk5234



大神好速度啊~~~~ 不过没怎么看懂 ，而且我主要是想用于处理一个txt文件，能不能有可移植的命令，例子只是想说明问题...
不过还是谢谢你


   

dn833

1. tr " " "\n" < file|awk '!a[$0]++'

复制代码

thc_forever

回复 4# dn833


强大！这么巧的方法我怎么想不到哇，膜拜下 ，哈哈~


   

blackold

强大，学习!

yestreenstars

1. awk '{for(i=1;i<=NF;i++)if(!a[$i]++)print $i}'

复制代码

reyleon

1. awk '{for(i=1;i<=NF;i++){a[$i]=++j}}END{len=asorti(a,b);for(i=1;i<=len;i++) print b[i]}' file

复制代码

yestreenstars

如果要排序的话，写个比你更短的

1. awk '{for(i=1;i<=NF;i++)a[$i]}END{for(i=1;i<=asorti(a,b);i++)print b[i]}'

复制代码

回复 8# reyleon


   

Tiodnaci

awk '{ for(i=1;i<=NF;i++) print $i}' |sort -u |wc -l