请教一个删除重复记录的问题

xyzlsh

有如下隔3行重复一次的数据，如何将重复记录删除，且保持原有顺序不变：
4
3
5
7
4
3
5
7
4
3
5
7
也就是转换为
4
3
5
7

liaosnet

awk '! a[$1]++'

xyzlsh

谢谢！能讲下原理吗？

meeslo

原帖由 liaosnet 于 2009-5-21 11:28 发表
awk '! a[$1]++'

很强大!


大侠解释下是什么意思! orz

是否等价于 awk '1==a[$1]++' ?

[ 本帖最后由 meeslo 于 2009-5-21 13:10 编辑 ]

hoodo

想麻烦了，哈哈
cat 3.txt  | head -n 4

chenwenming_zj

sort -u 3.txt

tianlijian

原帖由 liaosnet 于 2009-5-21 11:28 发表
awk '! a[$1]++'

你是个天才，太强了。

jiang_ocean

这贴又重现了，为什么不站内搜一下呢。keyword : awk 去重

meeslo

原帖由 jiang_ocean 于 2009-5-21 16:34 发表
这贴又重现了，为什么不站内搜一下呢。keyword : awk 去重

搜索了下，理解如下：

echo  abc |awk 'a=1'得到
abc
echo  abc |awk '1',得到
abc
echo  abc |awk '0'  和 echo  abc |awk '' 则没有结果。

awk '!a[$1]++' 就很好理解了。:wink: