删除文本中的重复行的问题

novemberrain

一个文本处理问题:
有如下文本

aaaa
bbbb
cccc
cccc
dddd
aaaa
bbbb
cccc

想去掉重复行,即:不管是相邻的或不相邻的重复行,均保留第一次出现的行,其后的重复行删除,
变成如下结果:

aaaa
bbbb
cccc
dddd

实在是没思路，各位达人帮帮忙！

jinl

awk '!a[$0]++' ufile

枫影谁用了

sort后再uniq一下。

[huangzhibin@localhost ~]$ cat test |sort |uniq
aaaa
bbbb
cccc
dddd

[ 本帖最后由 枫影谁用了 于 2008-6-17 10:15 编辑 ]

zhaopingzi

1. 
   
2. sort -u urfile
   

复制代码

Shell_HAT

删除重复行，并保持非重复行的原有顺序。

1. awk '!($0 in a){a[$0];print}' urfile

复制代码

1. sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P' urfile

复制代码

luyi1983

原帖由 jinl 于 2008-6-17 10:13 发表
awk '!a[$0]++' ufile

这个方法被评为最省资源的。
以前讨论过。

lemboyz

原帖由 jinl 于 2008-6-17 10:13 发表
awk '!a[$0]++' ufile

高手能解释一下吗？谢谢。

novemberrain

谢谢各位！
还得好好学习一下!
忘了说，我想要的就是保持顺序不变！

cjaizss

1. 
   
2. awk 'f[$0]!=1{print;f[$0]=1}'
   

复制代码

ThomasLiu83

原帖由 cjaizss 于 2008-6-17 11:19 发表

awk 'f[$0]!=1{print;f[$0]=1}'

和

awk '!a[$0]++' utfile

是几乎一致的意思吧...？