怎样删除某列中重复的字符串？ 谢谢

ywlscpl

嗯，非相邻域出现重复无法剔除

ly5066113

后面也加一个\>

sed -r ':a;s/(\<[0-9]+(\.[0-9]+){3}\>)(.*),\1\>/\1\3/;ta' urfile

sunbw001

awk -F, '{delete a;for(i=1;i<=NF;i++)a[$i]++ ; for(j in a) {printf "%s,", j ;}print ""}' data |sed 's/.$//'

这样可以吗？

springwind426

1. 
   
2. sed -r ':a;s/(([0-9]+\.){3}[0-9]+),+(.*)\1/\1,\3/;ta;s/,+/,/g;s/,$//'  数据文件
   

复制代码

解释：

1. 
   
2. s/(([0-9]+\.){3}[0-9]+),+(.*)\1/\1,\3/;ta
   

复制代码

是将重复的IP删除，但是，那个IP前面的,无法删除
之所以这么写，是考虑到这样的情况：192.168.1.21,192.168.1.2

1. 
   
2. s/,+/,/g;
   

复制代码

将多个连续的,合并成一个

1. 
   
2. s/,$//
   

复制代码

将末尾的,删除

[ 本帖最后由 springwind426 于 2009-1-7 09:08 编辑 ]

我是DBA

这个也是可以，不过我有一点看不懂，关于数组的处理。。。有没有人帮忙详细解说一下。
a[$i]++这个怎么解？

我是DBA

这个是不行的，会有问题
[test@erpdataserver ~]$ sed -r ':a;s/(([0-9]+\.){3}[0-9]+)(.*),\1/\1\3/;ta' 223
172.16.19.467
172.16.19.21,172.26.19.21
172.16.19.69,172.26.19.69
172.16.19.70,172.26.19.70
[test@erpdataserver ~]$ cat 223
172.16.19.46,172.16.19.47
172.16.19.21,172.16.19.21,172.16.19.21,172.26.19.21,172.26.19.21,172.26.19.21
172.16.19.69,172.16.19.69,172.16.19.69,172.26.19.69,172.26.19.69,172.26.19.69
172.16.19.70,172.16.19.70,172.16.19.70,172.26.19.70,172.26.19.70,172.26.19.70

springwind426

原帖由 我是DBA 于 2009-1-7 08:53 发表
这个是不行的，会有问题
[test@erpdataserver ~]$ sed -r ':a;s/(([0-9]+\.){3}[0-9]+)(.*),\1/\1\3/;ta' 223
172.16.19.467
172.16.19.21,172.26.19.21
172.16.19.69,172.26.19.69
172.16.19.70,172.26.1 ...

已经在上面修正了，只是兄台反应比较快

biglazybug

awk中delete 数组名是删除什么呀 第一个元素 清空数组？

ynchnluiti

原帖由 biglazybug 于 2009-1-7 10:02 发表
awk中delete 数组名是删除什么呀 第一个元素 清空数组？

删除数组

我是DBA

还是没太懂，说帮忙详细解说一下。
awk -F, '{delete a;for(i=1;i<=NF;i++)a[$i]++ ; for(j in a) {printf "%s,", j ;}print ""}' data |sed 's/.$//'