sed去除重复行（求解）

英语盲学linux

1111
111
1111
1111
2
1111
2222
abc
ddd
abc
2222
3333


去除重复出现的行 ，awk 或者sort 比较简单 写了好久还是不会用sed去重复 ，求解

hbmhalley

1. 
   
2. sed -r ':1;N;s/^(\S+)((\n.*)*)\n\1$/\1\2/M;$!b1' file
   

复制代码

英语盲学linux

回复 2# hbmhalley


    多谢

Linux9253

Linux9253

回复 2# hbmhalley


    请问M参数起什么作用？？？

hbmhalley

回复 5# Linux9253

1. seq 2 | sed 'N;s/^\w*$/matched/g'
   
2. seq 2 | sed 'N;s/^\w*$/matched/Mg'

复制代码

英语盲学linux

回复 6# hbmhalley


    这个例子好~~

Shell_HAT

http://bbs.chinaunix.net/thread-336126-1-1.html

cjaizss

1. sed -nr '1h;1!H;${x;:a;s/((^|\n)([^\n]*)\n)((.*\n)?)\3(\n|$)/\1\4/;ta;p}'
   

复制代码

英语盲学linux

回复 9# cjaizss


    这个当file中最后两行重复的时，最后输出会产生空行