求助！！！！！！！！！！！

fj8172

数据样本
1,2,3,a b c a b c d,4
5,6,7,b d n b c,8

结果样本
1,2,3,a b c d,4
5,6,7,b d n c,8




就是某一列中去重,求助！！！！！！！！！

moperyblue

1. sed -r ':a;s/(([^,]*,){3}[^,]*)(\S+\b)([^,]*)\s+\3/\1\3\4/;ta'

复制代码

sunzhiguolu

1. perl -F/,/ -pe 'for(@F){@A=split;@A==1?push(@a,$_):push(@a,join(" ",grep{!$h{$_}++}@A))}$_=join(",",@a);@a=%h=()' f

复制代码

sunzhiguolu

列中的字符顺序是否重要?

zy86416779

1. [root@CentOS_6 tmp]# awk -F",| " -f uniq.awk 1.txt                  
   
2. 1,2,3,a,b,c,d,4,
   
3. 5,6,7,b,d,n,c,8,
   
4. [root@CentOS_6 tmp]# cat uniq.awk                     
   
5. {
   
6.   for(i=1;i<=NF;i++){
   
7.     if(a[$i]!=$i){
   
8.       a[$i]=$i
   
9.       printf a[$i]
   
10.       printf ","
    
11.     }
    
12.   }
    
13.   printf "\n"
    
14.   for(i in a)
    
15.     delete a[i]
    
16. }

复制代码

fh21_xuejinlian

awk -F',' '{printf $1FS$2FS$3FS;l=split($4,a," ");for(i=1;i<=l;i++){b[a[i]]++;if(b[a[i]]>1)delete a[i];printf a[i]" "};delete a;delete b;print FS$5;}' file   

fj8172

回复 3# sunzhiguolu

perl没弄过，在此谢过！

fj8172

回复 6# fh21_xuejinlian

非常感谢！

fj8172

回复 5# zy86416779

非常感谢！