求助了，需要横向去重，如何实现比较好？

gdutllf2006

有一新情号码的文件类似如下格式， 需要横向去重，如何实现比较好？
1|2|3|4|5|5|6||||10|  －－表示1-6都是10的新情号码
11|2|13|4|5|15|4||||12|
10|2|13|13|5|15|4||||1|

需要得到的输出
1|2|3|4|5|6||||||10|
11|2|13|4|5|15|||||12|
10|2|13|5|15|4|||||1|

如果出现重复的情况，从后面开始去掉重复的。

yinyuemi

回复 1# gdutllf2006

1. echo "1|2|3|4|5|5|6||||10|
   
2. 11|2|13|4|5|15|4||||12|
   
3. 10|2|13|13|5|15|4||||1|" |awk -v FS="|" '{for(i=1;i<NF-1;i++) if($i>0&&++a[$i]==1) {printf $i FS} else if (length($i)==0){printf $i FS} else {x=x?x FS:FS};delete a;print x FS $(NF-1) FS $NF;x=""}'
   
4. 1|2|3|4|5|6|||||10|
   
5. 11|2|13|4|5|15|||||12|
   
6. 10|2|13|5|15|4|||||1|
   

复制代码

ywlscpl

1. awk -F '|' '{for (i=1;i<=NF-2;i++) if (!a[$i]++) {printf $i"|";++j};for (i=1;i<=NF-j-2;i++) printf "|";print $(NF-1)"|";delete a;j=0}' file

复制代码

1. ywlscpl@ubuntu:~$ awk -F '|' '{for (i=1;i<=NF-2;i++) if (!a[$i]++) {printf $i"|";++j};for (i=1;i<=NF-j-2;i++) printf "|";print $(NF-1)"|";delete a;j=0}' file
   
2. 1|2|3|4|5|6|||||10|
   
3. 11|2|13|4|5|15|||||12|
   
4. 10|2|13|5|15|4|||||1|

复制代码

gdutllf2006

多谢了

jason680

有一新情号码的文件类似如下格式， 需要横向去重，如何实现比较好？
1|2|3|4|5|5|6||||10|  －－表示1-6都 ...
gdutllf2006 发表于 2011-03-27 04:50

$ echo "1|2|3|4|5|5|6||||10|
11|2|13|4|5|15|4||||12|
10|2|13|13|5|15|4||||1|" | perl -ape '{%h=();s/(\d+)\|/if($h{$1}++==0){sprintf"$1|"}/ge}'
1|2|3|4|5|6||||10|
11|2|13|4|5|15||||12|
10|2|13|5|15|4||||1|

rdcwayx

1. awk -F \| '{for (i=1;i<=NF-2;i++) printf (a[$i]++)?X:$i FS}{printf $(NF-1) FS RS;delete a}' infile

复制代码

ywlscpl

to 5楼6楼

字段数应该是不变的

jason680

>>to 5楼6楼
>>字段数应该是不变的

谢谢!!!

本来想那就更简单了....
$ echo "1|2|3|4|5|5|6||||10|
11|2|13|4|5|15|4||||12|
10|2|13|13|5|15|4||||1|" | perl -ape '{%h=();s/(\d+)/if($h{$1}++==0){sprintf"$1"}/ge;}'
1|2|3|4|5||6||||10|
11|2|13|4|5|15|||||12|
10|2|13||5|15|4||||1|

结果为了搬走中间的 ||....
又花了一翻功夫....
$ echo "1|2|3|4|5|5|6||||10|
11|2|13|4|5|15|4||||12|
10|2|13|13|5|15|4||||1|" | perl -ape '{($t,%h)=();s/(\d+)/if($h{$1}++==0){sprintf"$1"}/ge;while(s/(\|+)\|/|/){$t.=$1}s/(\d+)\|$/$t$1|/;}'
1|2|3|4|5|6|||||10|
11|2|13|4|5|15|||||12|
10|2|13|5|15|4|||||1|