指定列去重问题

huang6894

其实之前有人问过的，算是月经贴了~不过想问个复杂点的。比如一个文本，他只是第二第三列相同，其他列都不一样，我想把相同的变成一行，不同的合并起来怎么做呢？
ex：

1. 
   
2. 1     hhh     YYY      1234566
   
3. 2     hhh     YYY      166
   
4. 3     YYY     hhh      dhu
   
5. 4     hhh     YYY      12566
   
6. 5     YYY     hhh      888
   
7. 6     hhh     YYY      12566(注意这里）
   
8. 7     YYY     hhh      d88
   
9. 8     YYY     hhh      dhu
   

复制代码

然后得到：

1. 
   
2. 1/2/4/6     hhh     YYY      1234566;166;12566;
   
3. 3/5/7/8     YYY     hhh      dhu;888;d88;
   

复制代码

谢谢~

li0924

1. awk '{t=$2 FS $3;if(! a[t]++){s[t]=$1;e[t]=$4}else{s[t]=s[t]"/"$1;e[t]=(t$4 in b)?e[t]:e[t]";"$4}b[t$4]}END{for(i in s)print s[i],i,e[i]}' file
   
2. 3/5/7/8 YYY hhh dhu;888;d88
   
3. 1/2/4/6 hhh YYY 1234566;166;12566

复制代码

yestreenstars

1. $ awk -vOFS='\t' '{t=$2"\t"$3;if(!a[t]++)b[++n]=t;if(!c[t,$1]++)d[t]=d[t]!=""?d[t]"/"$1:$1;if(!d[t,$4]++)e[t]=e[t]!=""?e[t]$4";":$4";"}END{for(i=0;i++<n;)print d[b[i]],b[i],e[b[i]]}' i
   
2. 1/2/4/6 hhh     YYY     1234566;166;12566;
   
3. 3/5/7/8 YYY     hhh     dhu;888;d88;

复制代码

huang6894

回复 2# li0924


    get~谢谢你了，哈

huang6894

回复 3# yestreenstars


    大神威武，谢谢大神

这个冬天不冷

1. [root@everIover ~]# awk '{a[$2FS$3]=a[$2FS$3]?a[$2FS$3]"/"$1:$1;if(!d[$4])b[$2FS$3]=b[$2FS$3]?b[$2FS$3]";"$4:$4;d[$4]++}END{for(i in a)print a[i],i,b[i]}' a
   
2. 1/2/4/6 hhh YYY 1234566;166;12566
   
3. 3/5/7/8 YYY hhh dhu;888;d88
   
4. [root@everIover ~]# cat a
   
5. 1     hhh     YYY      1234566
   
6. 2     hhh     YYY      166
   
7. 3     YYY     hhh      dhu
   
8. 4     hhh     YYY      12566
   
9. 5     YYY     hhh      888
   
10. 6     hhh     YYY      12566
    
11. 7     YYY     hhh      d88
    
12. 8     YYY     hhh      dhu
    
13. [root@everIover ~]#
    

复制代码

请忽略了。。。。

关阴月飞

huang6894 发表于 2014-01-14 10:11
其实之前有人问过的，算是月经贴了~不过想问个复杂点的。比如一个文本，他只是第二第三列相同，其他列都不一
1     hhh     YYY      1234566
2     hhh     YYY      166
3     YYY     hhh      dhu
4     hhh     YYY      12566
5     YYY     hhh      888
6     hhh     YYY      12566(注意这里）
7     YYY     hhh      d88
8     YYY     hhh      dhu
...

为啥没人注意这个：

6     hhh     YYY      12566(注意这里）

li0924

回复 6# 这个冬天不冷
你这代码有点瑕疵；若最后一行是“8     YYY     hhh      12566”；你看下结果


   

yestreenstars

回复 7# 关阴月飞
那是说明，不是原文本里的内容，他想表达的意思就是去重。

   

关阴月飞

回复 9# yestreenstars


    刚刚才回过神来，懂了，被坑了
    还以为写个注意，是想让大家注意：这里有中文要去掉