如何删除重复行

jinl

原帖由 waker 于 2004-12-28 10:08 发表
awk '{if (a[$2]!=$2 && b[$3]!=$3) {a[$2]=$2;b[$3]=$3;c[$0]=$0}
}END { for(i in c) print c}'  

这个不保存c[$0],直接print $0,去掉END,就和你后面的代码功能一样了
不过这样可能速度没有a[$2$3]快

springwind426

1. 
   
2. awk '!a[$2,$3]++' 数据文件
   

复制代码

r2007

关心效率的话

1. awk '!($2" "$3 in a){a[$2" "$3];print}'

复制代码

mcolinc

原帖由 waker 于 2004-12-28 11:43 发表
学习大家的，改一下
awk '{if (a[$2$3]!=$2$3) {a[$2$3]=$2$3;print}}'

学习了

welcome008

俺只会awk
awk '{a[$2" "$3]=$0}END{for(x in a) print a[x]}' filename

welcome008

原帖由 waker 于 2004-12-28 11:43 发表
学习大家的，改一下
awk '{if (a[$2$3]!=$2$3) {a[$2$3]=$2$3;print}}'

这个不是很好，有漏洞

ly5066113

原帖由 r2007 于 2008-1-24 19:42 发表
关心效率的话
awk '!($2" "$3 in a){a[$2" "$3];print}'

这样更简洁：

awk '!a[$2" "$3]++'

jinl

原帖由 ly5066113 于 2008-1-25 17:13 发表


这样更简洁：

awk '!a[$2" "$3]++'

还能更精简么？ ly5066113真是言简意赅

chendeshen

如何删除含相同列的行