sed去除重复行（求解）

cjaizss

英语盲学linux 发表于 2012-03-30 11:02
回复 9# cjaizss

有理
改一改

1. 
   
2. sed -nr '1h;1!H;${x;:a;s/((^|\n)([^\n]*)\n)((.*\n)?)\3(\n|$)/\1\4/;ta;s/\n$//;p}'
   

复制代码

sjdy521

直接用uniq不就好了，干嘛非要这样子折腾呢

Linux9253

过来插播一下：echo “control whether color is used”  用sed怎么实现 输出是：used is color whether ontrol

hbmhalley

回复 13# Linux9253


    你敲错了吧

1. sed -r 'G;:1;s/ *(\w+)(\n.*)/\2 \1/;t1;s/..//;'

复制代码

Linux9253

回复 14# hbmhalley


    谢谢、思路好了、写的就是简单

christmas1102

回复 6# hbmhalley

sed 'N;s/^\w*$/matched/Mg'


还是没懂这个M

*是0到多次，^$ 是开头和结尾，这个M只有可能和这两个东西有关联，

那M到底是啥意思？

christmas1102

seq 2 | sed 'N;s/^\w*$/matched/Mg'

最后的M 到底是啥意思？

christmas1102

回复 6# hbmhalley

seq 2 | sed 'N;s/^\w*$/matched/Mg'

最后的M 到底是啥意思？

wh7211

m或M是多行匹配的意思。

csccyab

If you don't care the order and just remove the duplicated lines:

# cat /tmp/2
1111
111
1111
1111
2
1111
2222
abc
ddd
abc
2222
3333

# awk '{a[$0]=$0; next} END {for (i in a){print a[i]}}' /tmp/2
3333
2222
111
abc
1111
ddd
2