如何用awk按组合关键字删除重复行

expert1

to 11 F

awk '{print $1}' wokao |sort |uniq

awk '{a[$1]=$1}END{for (i in a)print a}' wokao

iori809

回复 9# blackold


    #awk 'NR==FNR&&!($1 in array)&&$2!=0{array[$1]=$0}NR>FNR&&!($1 in array){array[$1]=$0}END{for(i in array){print array}}' test92.txt test92.txt
PBCSPOFT0101    96
PBCSPOFT0102    6
PBCSPOFT0103    8
PBCSPOFT0104    0
PBCSPOFT0105    0
PBCSPOFT0106    0
PBCSPOFT0107    10
PBCSPOFT0108    0


没问题啊黑哥~ 不过这个不如export写的好·

lkk2003rty

1. awk '{if($2 != 0) {print;b[$1]++;}else a[$1]++;}END{for(cnt in a) if((!(cnt in b ))&& a[cnt] == 1) print cnt,"0"}' file

复制代码

贴个挫的。。。。

blackold

回复 12# iori809


PBCSPOFT0101    96
PBCSPOFT0101    96

对于样本数据是对的，但不符合逻辑。比如有重复的行就不行了。

bbyyzhang

awk '/..../ {print $10}' access_log  这个可以执行
awk '/..../ {!($10 in a){a[$10]=$10}END{for(i in a)print a[i]}}' access_log  用这个对$10做消重的时候语法错，错在哪里呢？

bbyyzhang

回复 11# expert1


    谢谢哥，|sort |uniq 这个好用，呵呵

lkk2003rty

回复 15# bbyyzhang


    大括号 的个数 位置。。。。

iori809

回复 9# blackold


    我想删除第一个字段重复的且第二个字段为0的行,

[root@commserver: /tmp]#awk 'NR==FNR{a[$1]++;next}$2!=0||a[$1]==1' test92.txt test92.txt
PBCSPOFT0101    96
PBCSPOFT0101    96
PBCSPOFT0102    6
PBCSPOFT0103    8
PBCSPOFT0104    0
PBCSPOFT0105    0
PBCSPOFT0106    0
PBCSPOFT0107    10
PBCSPOFT0108    0
[root@commserver: /tmp]#awk 'NR==FNR&&!($1 in array)&&$2!=0{array[$1]=$0}NR>FNR&&!($1 in array){array[$1]=$0}END{for(i in array){print array}}' test92.txt test92.txt
PBCSPOFT0101    96
PBCSPOFT0102    6
PBCSPOFT0103    8
PBCSPOFT0104    0
PBCSPOFT0105    0
PBCSPOFT0106    0
PBCSPOFT0107    10
PBCSPOFT0108    0


您的和我的。最大的不一样就在于对第一列重复且第二列不为零的情况，按照LZ的需求应该是合并吧~我的那个等于给覆盖了，您这个还记录着次数

expert1

最近发现论坛很垃圾，不好使，11楼的数组a[i]都显示不出来，我编辑的时候还有。晕，而且时常访问不了，很无语。

其实楼主一楼的问题是个逻辑问题，A并且B，是不是等于非A或者非B啊？应该是这样的吧^_^。搞晕了都。

bbyyzhang

使用awk '/..../ {print $10}' access_log |sort |uniq消重后的结果不彻底
因为$10有些是有时间戳的，如：
"http://××.com/××/aa.htm?nekot=2bvS1be71274159055441"
我怎么对这个结果再消重呢？
就是去掉?nekot=2bvS1be71274159055441 这个再消重
想一行命令搞定，不写中间文件，因为没有写权限