免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Shell › sed 非相邻重复行 ？
最近访问板块 发新帖
查看: 902 | 回复: 7
打印 上一主题 下一主题

[文本处理] sed 非相邻重复行 ？ [复制链接]

1cpuer

论坛徽章:
6
程序设计版块每日发帖之星 日期:2016-05-11 06:20:00操作系统版块每日发帖之星 日期:2016-05-12 06:20:00每日论坛发贴之星 日期:2016-05-12 06:20:00操作系统版块每日发帖之星 日期:2016-05-14 06:20:00程序设计版块每日发帖之星 日期:2016-05-31 06:20:00每日论坛发贴之星 日期:2016-05-31 06:20:00
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2017-02-06 16:18 |只看该作者 |倒序浏览
# cat g01
/01/sd/hi01
/01/sd/PS1
/01/sd/j
/01/sd/gr
/01/sd/s0s
/01/sd/x1
/01/typescript
/01/xi/xfi-1
/01/lis-1
/01/1v/1co
/01/1v/dd-h
/01/1v/ex1
/01/01-30/0v
/01/hi-p/hi-e1
/01/hi-p/01-20
/01/hi-p/01-15
/01/hi-p/hi0
/01/hi-p/02-05
/01/hi-p/0hi
/01/01-27/at-p.sh
/01/sd/hihi
/01/sd/sd2s
/01/sd/hi01
/01/sd/2s.txt
/01/typescript
/01/lis-1
/01/1v/1co
/01/1v/t1/virc
/01/1v/his-t1
/01/setall.out
/01/01-30/0v
/01/comm
/01/set1
/01/hi-p/hi-e1
/01/hi-p/01-20
/01/hi-p/01-15
/01/hi-p/1hi
/01/hi-p/hi0
/01/hi-p/02-05
/01/hi-p/hi.sh
/01/hi-p/0hi
/01/hi-p/la-1
/01/hi-p/hi-t1
/01/01-27/p1
/01/01-27/vi-p1
您在 /var/mail/root 中有新邮件
$ 64 [2017-02-06 16:13:38] 星期一  root /01
# sort g01 | sed '$!N;/\(.*\)\n\1$/!{x;//P;x};h;D'
/01/01-30/0v
/01/1v/1co
/01/hi-p/01-15
/01/hi-p/01-20
/01/hi-p/02-05
/01/hi-p/0hi
/01/hi-p/hi0
/01/hi-p/hi-e1
/01/lis-1
/01/sd/hi01
/01/typescript
# 上面是相邻重复行
不用 sort ? 我试了好多次不行
再显示单行行号
moperyblue

论坛徽章:
28
15-16赛季CBA联赛之八一 日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳 日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆 日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦 日期:2016-12-15 12:06:43CU十四周年纪念徽章 日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林 日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁 日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁 日期:2017-01-15 09:42:512016科比退役纪念章 日期:2017-02-06 17:21:50黑曼巴 日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海 日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛 日期:2017-03-18 22:00:44
2楼 [报告]
发表于 2017-02-06 17:21 |只看该作者

希望的结果跟:
  1. awk '!a[$0]++' file
复制代码
一样?
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
haooooaaa

论坛徽章:
54
2015亚冠之德黑兰石油 日期:2015-07-07 13:00:1615-16赛季CBA联赛之深圳 日期:2016-03-31 09:03:5415-16赛季CBA联赛之辽宁 日期:2016-05-09 20:38:15程序设计版块每日发帖之星 日期:2016-05-12 06:20:0015-16赛季CBA联赛之四川 日期:2016-05-13 15:19:4715-16赛季CBA联赛之福建 日期:2016-05-15 20:24:34每日论坛发贴之星 日期:2016-05-16 06:20:0015-16赛季CBA联赛之吉林 日期:2016-05-26 11:49:4715-16赛季CBA联赛之广东 日期:2016-05-26 13:49:18极客徽章 日期:2016-12-07 14:05:2315-16赛季CBA联赛之广夏 日期:2016-12-20 17:33:532017金鸡报晓 日期:2017-01-10 15:19:56
3楼 [报告]
发表于 2017-02-06 17:37 |只看该作者
  1. sed -r ':a;N;s#(.+\n){0,}(.+)(\n.*)\n\2$#\1\2\3#;ba'
复制代码
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
1cpuer

论坛徽章:
6
程序设计版块每日发帖之星 日期:2016-05-11 06:20:00操作系统版块每日发帖之星 日期:2016-05-12 06:20:00每日论坛发贴之星 日期:2016-05-12 06:20:00操作系统版块每日发帖之星 日期:2016-05-14 06:20:00程序设计版块每日发帖之星 日期:2016-05-31 06:20:00每日论坛发贴之星 日期:2016-05-31 06:20:00
4楼 [报告]
发表于 2017-02-06 17:37 |只看该作者
回复 2# moperyblue
行号没有
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
1cpuer

论坛徽章:
6
程序设计版块每日发帖之星 日期:2016-05-11 06:20:00操作系统版块每日发帖之星 日期:2016-05-12 06:20:00每日论坛发贴之星 日期:2016-05-12 06:20:00操作系统版块每日发帖之星 日期:2016-05-14 06:20:00程序设计版块每日发帖之星 日期:2016-05-31 06:20:00每日论坛发贴之星 日期:2016-05-31 06:20:00
5楼 [报告]
发表于 2017-02-06 17:40 |只看该作者
回复 3# haooooaaa

# awk '!a[$0]++' 002
11
122
d
133
1ddd
ddd

您在 /var/mail/root 中有新邮件
$ 137 [2017-02-06 17:32:03] 星期一  root /01
# sed -r ':a;N;s#(.+\n){0,}(.+)(\n.*)\n\2$#\1\2\3#;ba' 002
11
11
122
d
133
133
1ddd
ddd

您在 /var/mail/root 中有新邮件
$ 138 [2017-02-06 17:38:10] 星期一  root /01
# sed -r ':a;N;s/(.+\n){0,}(.+)(\n.*)\n\2$/\1\2\3/;ba' 002
11
11
122
d
133
133
1ddd
ddd

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
1cpuer

论坛徽章:
6
程序设计版块每日发帖之星 日期:2016-05-11 06:20:00操作系统版块每日发帖之星 日期:2016-05-12 06:20:00每日论坛发贴之星 日期:2016-05-12 06:20:00操作系统版块每日发帖之星 日期:2016-05-14 06:20:00程序设计版块每日发帖之星 日期:2016-05-31 06:20:00每日论坛发贴之星 日期:2016-05-31 06:20:00
6楼 [报告]
发表于 2017-02-06 17:40 |只看该作者
回复 3# haooooaaa

# awk '!a[$0]++' 002
11
122
d
133
1ddd
ddd

您在 /var/mail/root 中有新邮件
$ 137 [2017-02-06 17:32:03] 星期一  root /01
# sed -r ':a;N;s#(.+\n){0,}(.+)(\n.*)\n\2$#\1\2\3#;ba' 002
11
11
122
d
133
133
1ddd
ddd

您在 /var/mail/root 中有新邮件
$ 138 [2017-02-06 17:38:10] 星期一  root /01
# sed -r ':a;N;s/(.+\n){0,}(.+)(\n.*)\n\2$/\1\2\3/;ba' 002
11
11
122
d
133
133
1ddd
ddd

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
haooooaaa

论坛徽章:
54
2015亚冠之德黑兰石油 日期:2015-07-07 13:00:1615-16赛季CBA联赛之深圳 日期:2016-03-31 09:03:5415-16赛季CBA联赛之辽宁 日期:2016-05-09 20:38:15程序设计版块每日发帖之星 日期:2016-05-12 06:20:0015-16赛季CBA联赛之四川 日期:2016-05-13 15:19:4715-16赛季CBA联赛之福建 日期:2016-05-15 20:24:34每日论坛发贴之星 日期:2016-05-16 06:20:0015-16赛季CBA联赛之吉林 日期:2016-05-26 11:49:4715-16赛季CBA联赛之广东 日期:2016-05-26 13:49:18极客徽章 日期:2016-12-07 14:05:2315-16赛季CBA联赛之广夏 日期:2016-12-20 17:33:532017金鸡报晓 日期:2017-01-10 15:19:56
7楼 [报告]
发表于 2017-02-06 17:47 |只看该作者
本帖最后由 haooooaaa 于 2017-02-06 18:02 编辑
  1. sed -r ':a;N;/(\b[^\n]+)\n\1$/s/(\b[^\n]+)\n\1$/\1/;s/([^\n]+)(.+)\n\1$/\1\2/;ba'
复制代码

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
moperyblue

论坛徽章:
28
15-16赛季CBA联赛之八一 日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳 日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆 日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦 日期:2016-12-15 12:06:43CU十四周年纪念徽章 日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林 日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁 日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁 日期:2017-01-15 09:42:512016科比退役纪念章 日期:2017-02-06 17:21:50黑曼巴 日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海 日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛 日期:2017-03-18 22:00:44
8楼 [报告]
发表于 2017-02-06 17:51 |只看该作者
回复 4# 1cpuer


原始文件的行号?
  1. cat -n file|awk '!a[$2]++'
复制代码

?
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP