免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
1234下一页
最近访问板块 发新帖
查看: 4859 | 回复: 32
打印 上一主题 下一主题

[文本处理] sed如何删除连续相同行 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2013-05-29 17:43 |只看该作者 |倒序浏览
比如
aaa
ccc
ccc
ddd
ddd
ddd
xxx
结果
aaa
xxx

搞不赢!sigh

论坛徽章:
0
2 [报告]
发表于 2013-05-29 17:58 |只看该作者
  1. sed 'N;/\(.\+\)\n\1/d;$!P;D'
复制代码

论坛徽章:
0
3 [报告]
发表于 2013-05-29 18:04 |只看该作者
本帖最后由 csdemo 于 2013-05-30 11:36 编辑

自己做了一个
  1. sed  -n '$!N;/^\(.*\)\n\1$/!{x;G;/^\(.*\)\n\1\n\1[\n]*.*/!{g;P;D};g;D};h;D' infile
复制代码
感觉好麻烦 不知道有何更简单的方法

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
4 [报告]
发表于 2013-05-29 18:14 |只看该作者
不相邻的重复行需要删除不?
aaa
ccc
ccc
ddd
ddd
ddd
xxx
aaa

论坛徽章:
5
未羊
日期:2014-08-04 16:15:21天秤座
日期:2014-08-13 13:52:372015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:112015亚冠之浦和红钻
日期:2015-06-29 15:30:48
5 [报告]
发表于 2013-05-29 18:30 |只看该作者
其实awk uniq都比sed来的简单。。。

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每月发帖之星
日期:2015-09-11 19:30:52IT运维版块每周发帖之星
日期:2015-09-11 19:20:31IT运维版块每日发帖之星
日期:2015-08-26 06:20:00每日论坛发贴之星
日期:2015-08-20 06:20:00IT运维版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15金牛座
日期:2014-05-04 16:58:09双子座
日期:2013-12-17 16:44:37辰龙
日期:2013-11-22 15:20:59狮子座
日期:2013-11-18 22:55:08射手座
日期:2013-11-12 10:54:26
6 [报告]
发表于 2013-05-29 19:10 |只看该作者
awk '{a[$0]++}END{for (i in a ) if (a[i]  == 1 ) print i}'

论坛徽章:
16
IT运维版块每日发帖之星
日期:2015-10-02 06:20:00IT运维版块每月发帖之星
日期:2015-09-11 19:30:52IT运维版块每周发帖之星
日期:2015-09-11 19:20:31IT运维版块每日发帖之星
日期:2015-08-26 06:20:00每日论坛发贴之星
日期:2015-08-20 06:20:00IT运维版块每日发帖之星
日期:2015-08-20 06:20:002015年辞旧岁徽章
日期:2015-03-03 16:54:15金牛座
日期:2014-05-04 16:58:09双子座
日期:2013-12-17 16:44:37辰龙
日期:2013-11-22 15:20:59狮子座
日期:2013-11-18 22:55:08射手座
日期:2013-11-12 10:54:26
7 [报告]
发表于 2013-05-29 19:16 |只看该作者
uniq -c urfile|awk '/1/{print $2}’

论坛徽章:
39
辰龙
日期:2013-08-21 15:45:192015亚冠之广州富力
日期:2015-05-12 16:34:52亥猪
日期:2015-03-03 17:22:00申猴
日期:2015-03-03 17:21:37未羊
日期:2014-10-10 13:45:41戌狗
日期:2014-06-17 09:53:29巨蟹座
日期:2014-06-12 23:17:17双鱼座
日期:2014-06-10 12:42:44寅虎
日期:2014-06-09 12:52:172015亚冠之卡尔希纳萨夫
日期:2015-05-24 15:24:35黄金圣斗士
日期:2015-12-02 17:25:0815-16赛季CBA联赛之吉林
日期:2017-06-24 16:43:52
8 [报告]
发表于 2013-05-29 19:17 |只看该作者
回复 1# csdemo
  1. uniq -u urfile
复制代码

论坛徽章:
0
9 [报告]
发表于 2013-05-30 08:43 |只看该作者
awk '!a[$1]++' a

论坛徽章:
32
处女座
日期:2013-11-20 23:41:20双子座
日期:2014-06-11 17:20:43戌狗
日期:2014-06-16 11:05:00处女座
日期:2014-07-22 17:30:47狮子座
日期:2014-07-28 15:38:17金牛座
日期:2014-08-05 16:34:01亥猪
日期:2014-08-18 13:34:25白羊座
日期:2014-09-02 15:03:55金牛座
日期:2014-11-10 10:23:58处女座
日期:2014-12-02 09:17:52程序设计版块每日发帖之星
日期:2015-06-16 22:20:002015亚冠之塔什干火车头
日期:2015-06-20 23:28:22
10 [报告]
发表于 2013-05-30 09:05 |只看该作者
本帖最后由 yestreenstars 于 2013-05-30 09:46 编辑
  1. [root@localhost ~]# sed -r ':1;N;$!b1;s/(.*)\n(\1\n?)+//g' i
  2. aaa
  3. xxx
  4. [root@localhost ~]# awk '$0!=a&&b[a]==1{print a}{a=$0;b[a]++}END{if(b[a]==1)print a}' i
  5. aaa
  6. xxx
  7. [root@localhost ~]#
复制代码
@wenhq
这样得到的结果是乱序的~

@CyyKing
发帖之前最好自己测试一遍,很明显不是LZ要的结果~
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP