如何同时对两列去重合统计行数

viato

回复 10# 关阴月飞

1. 
   
2. 123 aa 11
   
3. 123 aa 12
   
4. 123 bb 14
   
5. 456 aa 14
   
6. 567 bb 15
   
7. 567 cc 15
   

复制代码

如果改成这格式，分别对第２列，第３列去重，想得到的结果是
123 2 3
456 1 1
567 2 1

目前我要分开执行才可以，可以用一行显示上面的结果吗
awk '!a[$1,$2]++' ufile |awk '{a[$1]++}END{for(n in a) print n,a[n]}'
awk '!a[$1,$3]++' ufile |awk '{a[$1]++}END{for(n in a) print n,a[n]}'

viato

这样可以实现，大家还有没有更简单的

1. awk '{if(!a[$1,$2]++)b[$1]++;if(!c[$1,$3]++)d[$1]++}END{for(n in b) {print n,b[n],d[n]; sum1+=b[n];sum2+=d[n]} print "total",sum1,sum2}'

复制代码

关阴月飞

viato 发表于 2013-09-26 21:25
回复 10# 关阴月飞 如果改成这格式，分别对第２列，第３列去重，想得到的结果是
123 2 3
456 1 1
567 2 1

这里的结果是按什么规律得到的？

viato

回复 13# 关阴月飞


if(!a[$1,$2]++)b[$1]++  第1列和第2列去重
if(!c[$1,$3]++)d[$1]++  第1列和第3列去重

viato

回复 13# 关阴月飞

1. 
   
2. 123 aa 11
   
3. 123 aa 12
   
4. 123 bb 14
   
5. 456 aa 14
   
6. 567 bb 15
   
7. 567 cc 15
   

复制代码

这样去重后就得到了呀，只不过是分开显示的结果，我是想把出现的次数放到一行
awk '!a[$1,$2]++' ufile |awk '{a[$1]++}END{for(n in a) print n,a[n]}'
第１列和第２列去重，就是123出现了２次，456出现了1次，567 出现了２次



awk '!a[$1,$3]++' ufile |awk '{a[$1]++}END{for(n in a) print n,a[n]}'
第１列和第３列去重，就是123出现了３次，456出现了1次，567 出现了１次

关阴月飞

回复 15# viato

你12楼贴的思路就挺好呀，汇总部份可以简化一下：

1. awk '!a[$1,$2]++{c[$1]++}!b[$1,$3]++{d[$1]++}END{for(n in c)print n,c[n],d[n];print "total",length(a),length(b)}'  file

复制代码

viato

回复 16# 关阴月飞


    惭愧，想了好久才搞出来，

LikeLx

回复 8# WilliBhamlll
高手，我用你的这个代码得出的结果是4  5。

[root@dbserver ~]# cat a.txt
aa 11

cc 12

bb 14

aa 14

bb 15

cc 17
[root@dbserver ~]# awk '!a[$1]++{i++}!a[$2]++{j++}END{print i,j}' a.txt
4 5

   

WilliBhamlll

回复 18# LikeLx
你的文件中有多个空行，去重后还会剩一个空行。
我写的也有点问题，改一下就好了。

1. awk '!a[$1]++{i++}!b[$2]++{j++}END{print i,j}' file

复制代码