免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
楼主: csdemo
打印 上一主题 下一主题

[文本处理] sed如何删除连续相同行 [复制链接]

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每月发帖之星
日期:2015-09-11 19:30:52IT运维版块每周发帖之星
日期:2015-09-11 19:20:31IT运维版块每日发帖之星
日期:2015-08-26 06:20:00每日论坛发贴之星
日期:2015-08-20 06:20:00IT运维版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15金牛座
日期:2014-05-04 16:58:09双子座
日期:2013-12-17 16:44:37辰龙
日期:2013-11-22 15:20:59狮子座
日期:2013-11-18 22:55:08射手座
日期:2013-11-12 10:54:26
11 [报告]
发表于 2013-05-30 09:12 |只看该作者
回复 10# yestreenstars


    恩,楼主的问题是删除重复没有提到顺序的问题啊。

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
12 [报告]
发表于 2013-05-30 09:20 |只看该作者
回复 11# wenhq


    我看到的是,把其中重复的删除,其他按原来的顺序输出~每个人看到的可能不一样吧,算了,各有各想法吧~

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
13 [报告]
发表于 2013-05-30 09:29 |只看该作者
本帖最后由 yestreenstars 于 2013-05-30 09:46 编辑

回复 2# kk5234


    BUG:
  1. [root@localhost ~]# cat i
  2. aaa
  3. ccc
  4. ccc
  5. ddd
  6. ddd
  7. ddd
  8. xxx
  9. xxx
  10. [root@localhost ~]# sed 'N;/\(.\+\)\n\1/d;$!P;D' i
  11. aaa
  12. ddd
  13. [root@localhost ~]#
复制代码

论坛徽章:
0
14 [报告]
发表于 2013-05-30 11:01 |只看该作者
回复 4# Shell_HAT


    只需删除相邻且连续的,其他的保持原来秩序。

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
15 [报告]
发表于 2013-05-30 11:11 |只看该作者
回复 11# wenhq


    14楼有真相

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每月发帖之星
日期:2015-09-11 19:30:52IT运维版块每周发帖之星
日期:2015-09-11 19:20:31IT运维版块每日发帖之星
日期:2015-08-26 06:20:00每日论坛发贴之星
日期:2015-08-20 06:20:00IT运维版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15金牛座
日期:2014-05-04 16:58:09双子座
日期:2013-12-17 16:44:37辰龙
日期:2013-11-22 15:20:59狮子座
日期:2013-11-18 22:55:08射手座
日期:2013-11-12 10:54:26
16 [报告]
发表于 2013-05-30 11:22 |只看该作者
回复 15# Shell_HAT


    恩看到了。谢谢黑哥。

论坛徽章:
0
17 [报告]
发表于 2013-05-30 11:56 |只看该作者
回复 13# yestreenstars


    恩,确实有问题,只限两行。

论坛徽章:
0
18 [报告]
发表于 2013-05-30 11:59 |只看该作者
回复 16# wenhq


    认错人了吧

论坛徽章:
4
白羊座
日期:2013-09-17 21:59:30技术图书徽章
日期:2013-10-12 22:16:03白羊座
日期:2013-10-14 11:01:40双子座
日期:2013-12-17 18:26:39
19 [报告]
发表于 2013-05-30 12:54 |只看该作者
本帖最后由 井蛙夏虫 于 2013-05-30 12:56 编辑

写了个很消耗内存的
  1. sed -n ':a $!N;$!b a;G;s/\([^\n]\+\n\)\1\+//g;p' input | grep -v '^
复制代码
后面还有$和',显示不出来

论坛徽章:
93
2015年辞旧岁徽章
日期:2019-10-10 10:51:15CU大牛徽章
日期:2014-02-21 14:21:56CU十二周年纪念徽章
日期:2020-10-15 16:55:55CU大牛徽章
日期:2014-02-21 14:22:07羊年新春福章
日期:2019-10-10 10:51:39CU大牛徽章
日期:2019-10-10 10:55:38季节之章:春
日期:2020-10-15 16:57:40ChinaUnix元老
日期:2019-10-10 10:54:42季节之章:冬
日期:2019-10-10 10:57:17CU大牛徽章
日期:2014-02-21 14:22:52CU大牛徽章
日期:2014-03-13 10:40:30CU大牛徽章
日期:2014-02-21 14:23:15
20 [报告]
发表于 2013-05-30 13:28 |只看该作者
回复 13# yestreenstars


    BUG:
  1. [seesea@UC ~]$ cat file
  2. aaa
  3. cccc
  4. ccc
  5. ddd
  6. ddd
  7. ddd
  8. xxx
  9. [seesea@UC ~]$ sed -r ':1;N;$!b1;s/(.*)\n(\1\n?)+//g' file                             
  10. aaacxxx
复制代码
其实我写的和你类似,有bug,回头看和你的像,所以发现你的bug,哈:
  1. sed -r ':a; $!N; $!ba; s/([^\n]*)(\n)(\1(\2|$))+//g'
复制代码
关键sed不能用零宽断言,不然是好弄的。

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP