怎样删除某列中重复的字符串？ 谢谢

ynchnluiti

原帖由 ywlscpl 于 2009-1-6 15:59 发表

[Copy to clipboard] [ - ]CODE:
#awk -F "," '{for (i=1;i<=NF;i++) a[$i]=$i;for (j in a) if (a[j]!="") printf a[j]",";printf "\n";for (i=1;i<=NF;i++) a[$i]=""}' urfile
10.1.2.3,172.23.2.34,10.2.3.4,
172.23.12.35,10.1.2.4,10.2.3.78,
10.2.1.65,10.7.8.79,
顺序乱了，而且最后多了个,

1. awk -F, '{for(i=1;i<=NF;i++) if($i!="") {a[$i]++;b[i]=$i} for(i=1;i<=NF;i++) {if((i in b) && (b[i] in a)){printf "%s%s", c++?",":"", b[i];delete a[b[i]]}} printf "\n";delete a;c=0}' urfile

复制代码

ly5066113

1. awk -F, '{printf $1;a[$1]=1;for(i=2;i<=NF;i++) if(!a[$i]++) printf ","$i;delete a;print ""}' urfile

复制代码

ynchnluiti

原帖由 ly5066113 于 2009-1-6 16:28 发表
awk -F, '{printf $1;a[$1]=1;for(i=2;i

我输出,号用的++这招, 输出字段没想到用这招

ywlscpl

原帖由 ly5066113 于 2009-1-6 16:28 发表
awk -F, '{printf $1;a[$1]=1;for(i=2;i

报错了

1. 242# cat o1
   
2. 172.16.19.46
   
3. 172.16.19.21,172.16.19.21,172.16.19.21,172.26.19.21,172.26.19.21,172.26.19.21
   
4. 172.16.19.69,172.16.19.69,172.16.19.69,172.26.19.69,172.26.19.69,172.26.19.69
   
5. 172.16.19.70,172.16.19.70,172.16.19.70,172.26.19.70,172.26.19.70,172.26.19.70
   
6. 243# awk -F, '{printf $1;a[$1]=1;for(i=2;i<=NF;i++) if(!a[$i]++) printf ","$i;de
   
7. lete a;print ""}' o1
   
8. awk: Syntax error
   
9. at line 1 of program << {printf $1;a[$1]=1;f ... >>
   

复制代码

ywlscpl

完美版，去除了最后的,

1. # cat o1
   
2. 172.16.19.46
   
3. 172.16.19.21,172.16.19.21,172.16.19.21,172.26.19.21,172.26.19.21,172.26.19.21
   
4. 172.16.19.69,172.16.19.69,172.16.19.69,172.26.19.69,172.26.19.69,172.26.19.69
   
5. 172.16.19.70,172.16.19.70,172.16.19.70,172.26.19.70,172.26.19.70,172.26.19.70
   
6. #awk -F "," '{printf $1",";for (i=2;i<=NF;i++) {a=i-1;if ($i!=$a) printf $i","}printf "\n"}' o1| awk '{print substr($0,1,length($0)-1)}'
   
7. 172.16.19.46
   
8. 172.16.19.21,172.26.19.21
   
9. 172.16.19.69,172.26.19.69
   
10. 172.16.19.70,172.26.19.70
    

复制代码

[ 本帖最后由 ywlscpl 于 2009-1-6 16:52 编辑 ]

ly5066113

先不说逻辑对不对，就为了去个,号加了一个管道？

这个是不就是你想要的效果？
awk -F "," '{printf $1;for (i=2;i<=NF;i++) {a=i-1;if ($i!=$a) printf ","$i}printf "\n"}' o1

你这个只是相临的2个域做比较，如果重复字段出现在不相临的域，你这个是去不掉的。

BlueBlack

还是不行
172.27.3.11,172.27.3.11,172.27.3.118,172.27.3.118

这种情况的就转变为：
172.27.3.118

ynchnluiti

原帖由 BlueBlack 于 2009-1-6 18:44 发表
还是不行
172.27.3.11,172.27.3.11,172.27.3.118,172.27.3.118

这种情况的就转变为：
172.27.3.118

哪种方法不行？

BlueBlack

你的方法要是单独一列就没问题，要是多列的情况下，只操作一列的情况下，你的方法就操作不了，^_^

ynchnluiti

原帖由 BlueBlack 于 2009-1-6 19:01 发表
你的方法要是单独一列就没问题，要是多列的情况下，只操作一列的情况下，你的方法就操作不了，^_^

根据需求修改吧
我那段代码写罗嗦了。是根据你举的例子写的。