免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1684 | 回复: 4
打印 上一主题 下一主题

[文本处理] 去除多于的行 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2017-11-22 22:18 |只看该作者 |倒序浏览
1 asdsa key1 asd
2 asdsa key1 asd
3 asdsa key1 asd
4 asdsa key2 asd
5 asdsa key1 asd
6 asdsa key2 asd
7 asdsa key2 asd
8 asdsa key2 asd
9 asdsa key2 asd
10 asdsa key2 asd
11 asdsa key1 asd
12 asdsa key1 asd
13 asdsa key1 asd
14 asdsa key1 asd
15 asdsa key1 asd
16 asdsa key1 asd

变成:
1 asdsa key1 asd
3 asdsa key1 asd
4 asdsa key2 asd
5 asdsa key1 asd
6 asdsa key2 asd
10 asdsa key2 asd
11 asdsa key1 asd
16 asdsa key1 asd



key1, key2 是关键字, 目的,如果大于3行,将中间相同的行去掉。

论坛徽章:
0
2 [报告]
发表于 2017-11-23 09:33 |只看该作者
  1. /tmp# awk 'NR==FNR{if(a!=$3){b[NR]=1;a=$3};next}END{print}b[FNR]||b[FNR+1]' file file
  2. 1 asdsa key1 asd
  3. 3 asdsa key1 asd
  4. 4 asdsa key2 asd
  5. 5 asdsa key1 asd
  6. 6 asdsa key2 asd
  7. 10 asdsa key2 asd
  8. 11 asdsa key1 asd
  9. 16 asdsa key1 asd
复制代码

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
3 [报告]
发表于 2017-11-23 10:07 |只看该作者
回复 1# liuzhy_cu

$ awk '{if(k!=$3){print b$0;b=""}else b=$0"\n";k=$3}END{printf b}' FILE
1 asdsa key1 asd
3 asdsa key1 asd
4 asdsa key2 asd
5 asdsa key1 asd
6 asdsa key2 asd
10 asdsa key2 asd
11 asdsa key1 asd
16 asdsa key1 asd

论坛徽章:
0
4 [报告]
发表于 2017-11-23 11:14 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
25
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:09黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏
日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛
日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海
日期:2018-12-11 09:45:3219周年集字徽章-年
日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳
日期:2020-04-19 21:40:19黑曼巴
日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一
日期:2018-07-03 16:56:46
5 [报告]
发表于 2017-11-23 13:07 |只看该作者
回复 1# liuzhy_cu


  1. awk '$3==a{if(f){print b;f=0};b=$0;next}{f=1;if(b){print b};a=$3;b=$0}END{print b}' file
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP