怎样删除某列中重复的字符串？ 谢谢

ynchnluiti

原帖由 我是DBA 于 2009-1-7 10:08 发表
awk -F, '{delete a;for(i=1;i<=NF;i++)a[$i]++ ; for(j in a) {printf "%s,", j ;}print ""}' data |sed 's/.$//'

, 分割字段
读入新行处理
1 如果数组a存在，删除之
2 遍历字段，以字段值为索引创建数组a的元素，值为该字段值出现次数。（a[$i]++相当于a[$i] = a[$i] + 1）
3 遍历数组a, 输出索引（字段值）和1个逗号。 （最后一个字段后会有个多余的逗号）
4 输出换行
5 用sed去掉末尾的逗号

kelaisile

简单的方法。弄到UE里。把逗号替换成换行。再贴到excel里。然后，筛选不重复记录，就行啦！

bangongshi_

照《unix SHELL实例精解》书上实例改动一下。不知对不对。
awk -F "[, ]" '{ for (i=1; i<=NF; i++) id[$i]++ } END { for (j in id) print j }' file

bangongshi_

awk -F "[, ]" '{ for (i=1; i<=NF; i++) id[$i]++ } END { for (j in id) print j, id[$j] }' file
能将所有字段以及重复次数打印出来。
其中172.26.19.21字段有俩种，因为有一个172.26.19.21字段尾部有空格。awk将它另外归为一种。

sunbw001

awk -F, '{delete a;for(i=1;i<=NF;i++){a[$i]++};for(k in a){z++};for(j in a){x++;printf x==z?"%s":"%s,", j};print ""}' data

awk中怎么计算数组长度呢？
哪位高手知道，请教
除了for(k in a){z++}这种方式

sunbw001

awk -F, '{delete a;x=0;for(i=1;i<=NF;i++){a[$i]++};for(j in a){x++;printf x==length(a)?"%s":"%s,", j};print ""}' data

这样就可以了，呵呵

welcome008

awk -F\, '{for(j=1;j<=NF;j++)a[$j]=1; for(x in a) print x}' filename

我觉得这个应该可以实现吧？
好像也没那么麻烦

不过没有测试，

我是DBA

终于懂了，非常感谢andy老师。。。。