求教，删除单行中重复字符

ppp_qqq

a.txt文件只有一行连续字符（约五十万个汉字），如“你好吗我很好”，想去除其中重复字符，拆成“你，好，吗，我，很”。
因为中间没有分隔符，似乎不能用awk -F参数，用split -b 2 a.txt可以拆分成文件，但几十万个文件似乎也不易处理，该怎么操作呢？

ly5066113

try:

1. sed -e :a -e 's/\(..\)\(.*\)\1/\1\2/;ta' urfile

复制代码

yinyuemi

try:

awk 'BEGIN{FS=""} {for (i=1;i<=NF;i++){print $i}}' file |sort |uniq|tr "\n" ","

L_kernel

a.txt文件只有一行连续字符（约五十万个汉字），如“你好吗我很好”，想去除其中重复字符，拆成“你，好，吗 ...
ppp_qqq 发表于 2011-01-10 15:16

1. $ awk 'BEGIN{FS=""}{for(i=1;i<=NF;i++)a[$i]}END{for(i in a)print i}' a.txt

复制代码

1. $ awk 'BEGIN{FS="";ORS=","}{for(i=1;i<=NF;i++)a[$i]}END{for(i in a)print i}' a.txt

复制代码

cjaizss

建议还是用awk吧,效率高很多,sed实现这样的功能用regex不断匹配,太慢了

ppp_qqq

嗯，明白了，原来FS可以用""表示空，测试文件执行正常，回头我跑下大文件。谢谢几位。