删除文本中的重复行的问题

jinl

原帖由 ThomasLiu83 于 2008-6-17 12:39 发表


和

awk '!a[$0]++' utfile

是几乎一致的意思吧...？

条件判断可以说基本一致,但是处理流程还是有差异的,cjaizss的脚本后续重复行不做任何处理,我这个脚本会对重复行一直计数

r2007

1. awk '!($0 in a) {a[$0];print}' urfile

复制代码

wind521

sort -u

novemberrain

大家的思路都很值得学习，谢谢！

再增加点儿需求

待处理文本如下：
aaaa
bbbb

cccc
cccc

dddd
aaaa

bbbb
cccc
基本要求不变：去掉重复行,即:不管是相邻的或不相邻的重复行,均保留第一次出现的行,其后的重复行删除, 同时保持顺序不变
增加的要求：空行保持原样，不进行是否重复的处理

变成如下结果:
aaaa
bbbb

cccc

dddd

[ 本帖最后由 novemberrain 于 2008-6-17 15:03 编辑 ]

ThomasLiu83

原帖由 novemberrain 于 2008-6-17 15:00 发表
大家的思路都很值得学习，谢谢！

再增加点儿需求

待处理文本如下：
aaaa
bbbb

cccc
cccc

dddd
aaaa

bbbb
cccc
基本要求不变：去掉重复行,即:不管是相邻的或不相邻的重复行,均保留第一次出 ...

awk '{if(!a[$0]){print $0;a[$0]=1;}else{printf("\n");}}' ufile

novemberrain

原帖由 ThomasLiu83 于 2008-6-17 15:23 发表


awk '{if(!a[$0]){print $0;a[$0]=1;}else{printf("\n");}}' ufile

目的达到了，但是直接把重复的行换成了空行
要求是保留空行，删除其他的重复行，呵呵

jinl

awk '/^$/ && i {print $0;i++};!a[$0]++' file

[ 本帖最后由 jinl 于 2008-6-17 16:31 编辑 ]

novemberrain

原帖由 novemberrain 于 2008-6-17 16:26 发表


目的达到了，但是直接把重复的行换成了空行
要求是保留空行，删除其他的重复行，呵呵

改成这样就可以了
awk '{if(!a[$0]){print $0;a[$0]=1;}else{if($0~"^$") print $0;}}' ufile

novemberrain

原帖由 jinl 于 2008-6-17 16:29 发表
awk '/^$/ && i {print $0;i++};!a[$0]++' file

这个更强，不过说实话一开始没看懂，通过大家的例子明白了awk中的关联数组，谢谢！
不过，还是没看懂Shell_HAT 的

sed -n 'G; s/\n/&&/; /^\([ -~]*\n\).*\n\1/d; s/\n//; h; P' urfile

继续学习！

woodie

原帖由 novemberrain 于 2008-6-17 15:00 发表
大家的思路都很值得学习，谢谢！

再增加点儿需求

待处理文本如下：
aaaa
bbbb

cccc
cccc

dddd
aaaa

bbbb
cccc
基本要求不变：去掉重复行,即:不管是相邻的或不相邻的重复行,均保留第一次出 ...

awk '!$0||!a[$0]++'

[ 本帖最后由 woodie 于 2008-6-17 18:48 编辑 ]