sed如何删除连续相同行

seesea2517

回复 19# 井蛙夏虫

1. [seesea@UC ~]$ cat file
   
2. aaa
   
3. cccc
   
4. ccc
   
5. ddd
   
6. ddd
   
7. ddd
   
8. xxx
   
9. 
   
10. # 楼主自己的倒是没啥问题
    
11. [seesea@UC ~]$ sed  -n '$!N;/^\(.*\)\n\1$/!{x;G;/^\(.*\)\n\1\n\1[\n]*.*/!{g;P;D};g;D};h;D' file
    
12. aaa
    
13. cccc
    
14. ccc
    
15. xxx
    
16. 
    
17. # 这个和楼上的差不多bug
    
18. [seesea@UC ~]$ sed -n ':a $!N;$!b a;G;s/\([^\n]\+\n\)\1\+//g;p' file        
    
19. aaa
    
20. cxxx

复制代码

seesea2517

回复 20# seesea2517


不用零宽断言的话，就要把定位的那个符号再补上了。不知道还有其它的bug没有：

1. [seesea@UC ~]$ sed -r ':a; $!N; $!ba; s/([\n^])([^\n]*)(\n)(\2(\3|$))+/\1/g' file  
   
2. aaa
   
3. cccc
   
4. ccc
   
5. xxx
   
6. [seesea@UC ~]$ cat file
   
7. aaa
   
8. cccc
   
9. ccc
   
10. ddd
    
11. ddd
    
12. ddd
    
13. xxx

复制代码

kk5234

回复 22# seesea2517


    还有bug

1. cat file
   
2. aaa
   
3. ccc
   
4. ccc
   
5. ddd
   
6. ddd
   
7. ddd
   
8. ddd
   
9. xxx
   
10. bbb
    
11. ccc
    
12. ccc
    
13. ccc
    
14. eee
    
15. eee
    
16. eee
    
17. [root@localhost ~]# sed -r ':a; $!N; $!ba; s/([\n^])([^\n]*)(\n)(\2(\3|$))+/\1/g' file
    
18. aaa
    
19. ddd
    
20. xxx
    
21. bbb
    
22. eee
    
23. 
    

复制代码

kk5234

楼主的可以再改一改：

1. sed  -n '$!N;/^\(.*\)\n\1$/!{x;G;/^\(.*\)\n\1\n\1[\n]*.*/!{g;P;D}};h'

复制代码

yestreenstars

@seesea2517
@kk5234
综上所述，建议大家还是用awk吧~

seesea2517

弄了一个打标记处理的，和楼主看上去处理流程相似：

1. [seesea@UC ~]$ sed ':a; N; /^\(.*\)\n\1$/s//\1/; tb; x; /./!{x; P; D; ba}; s/.*//; x; D; ba; :b; x; s/.*/./; x; ba;' file
   
2. aaa
   
3. cccc
   
4. ccc
   
5. xxx
   
6. mmm
   
7. [seesea@UC ~]$ cat file
   
8. aaa
   
9. cccc
   
10. ccc
    
11. ddd
    
12. ddd
    
13. ddd
    
14. xxx
    
15. kkkk
    
16. kkkk
    
17. mmm

复制代码

seesea2517

回复 25# yestreenstars


    那你可吃香了。

seesea2517

回复 23# kk5234


    这都被发现了。看来没有零宽断言真是不好用，虽然后面把匹配掉的\n给补上去了，但是这个符号不会被用于下一次匹配。这样的话，还是得用循环了：

1. [seesea@UC ~]$ sed -r ':a; $!N; $!ba; :b; s/([\n^])([^\n]*)\n(\2(\n|$))+/\1/; tb' file
   
2. aaa
   
3. xxx
   
4. bbb

复制代码

yestreenstars

回复 28# seesea2517


    那就用perl来个零宽断言呗~

井蛙夏虫

回复 28# seesea2517

1. aaa
   
2. aaa
   
3. ccc
   
4. ccc
   
5. ddd
   
6. ddd
   
7. ddd
   
8. xxx
   

复制代码

运行后

1. aaa
   
2. aaa
   
3. xxx

复制代码