awk 去重 rs的问题

idvicki

有逗号分隔的字符串,需要去重.
awk设置RS为逗号,结果ms有问题

另外,如果需要在shell中把字符串去重之后转为数组,需要如何写? 谢谢

# cat pattern.txt
hello,hello
# awk -v RS=","  '!a[$0]++' pattern.txt
hello
hello
#还有额外一行
# sed 's/,/\n/g' pattern.txt | awk '!a[$0]++'
hello


# cat pattern.txt
hello,hello,world
# awk -v RS=","  '!a[$0]++' pattern.txt
hello
world
#还有额外一行
# sed 's/,/\n/g' pattern.txt | awk '!a[$0]++'
hello
world

reyleon

echo hello,hello


因为 echo 会带一个回车符... 如果将 RS设成逗号.

则记录变成了:

hello //第一条记录
hello\n //第二条记录

!a[$0]++ 时自然没法去重..

try:

echo -n hello,hello | awk -v RS=","  '!a[$0]++'

jason680

回复 1# idvicki


$ awk -vRS=",|\n" '!a[$0]++&&NF' pattern.txt
hello

   

yestreenstars

当你把RS设成逗号时，行尾的换行符就变成普通字符了，所以会打印出来~{:3_193:}

idvicki

谢谢各位,逗号分隔符的问题明白了,

还想请教一下, pattern.txt里面只有一行,应该是 hello,helloEOF才对啊,为何最后会有一个回车?

yestreenstars

回复 5# idvicki

没回车就不正常了~{:3_193:}
   

idvicki

回复 6# yestreenstars

是说awk会在最后加一个换行符么? pattern.txt里面并没有换行符


   

yestreenstars

回复 7# idvicki

孩纸，我决定用实际行动告诉你有换行符和没换行符的区别~{:3_193:}

1. [root@localhost ~]# echo -n 'hello,hello' > i
   
2. [root@localhost ~]# awk -v RS=","  '!a[$0]++' i
   
3. hello
   
4. [root@localhost ~]# echo 'hello,hello' > i
   
5. [root@localhost ~]# awk -v RS=","  '!a[$0]++' i
   
6. hello
   
7. hello
   
8. 
   
9. [root@localhost ~]#

复制代码

jason680

回复 7# idvicki

dump your file and see the newline("\n", 0x0a)

$ cat  pattern.txt
hello,hello,world
$ hexdump -C pattern.txt
00000000  68 65 6c 6c 6f 2c 68 65  6c 6c 6f 2c 77 6f 72 6c  |hello,hello,worl|
00000010  64 0a                                             |d.|
00000012

   

李满满

学生党:无聊~python试试set去重
$ python
Python 2.7.8 (default, Jul 25 2014, 14:04:36)
[GCC 4.8.3] on cygwin
Type "help", "copyright", "credits" or "license" for more information.
>>> s='hello,hello,world'
>>> set(s.split(','))
set(['world', 'hello'])