免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1268 | 回复: 1

[文本处理] awk ? '!a[$0]' [复制链接]

论坛徽章:
6
程序设计版块每日发帖之星
日期:2016-05-11 06:20:00操作系统版块每日发帖之星
日期:2016-05-12 06:20:00每日论坛发贴之星
日期:2016-05-12 06:20:00操作系统版块每日发帖之星
日期:2016-05-14 06:20:00程序设计版块每日发帖之星
日期:2016-05-31 06:20:00每日论坛发贴之星
日期:2016-05-31 06:20:00
发表于 2018-02-03 07:45 |显示全部楼层
cat foobar-1
fhgd  
1 ~/ -name
2 ~/ -name
3 /data/data/com.baidu.BaiduMap -name
4 /data/data/ -name
5 -rl 'http'
6 -rl 'http:www'
7 -rl 'https//:www'
8 -rl 'https\/\/:www'
9 -rl 'https\/\/\:www'
10 -rl 'https\/\/\:www'
fhgd  
1 ~/ -name
2 ~/ -name
3 /data/data/com.baidu.BaiduMap -name
4 /data/data/ -name
5 -rl 'http'
6 -rl 'http:www'
7 -rl 'https//:www'
8 -rl 'https\/\/:www'
9 -rl 'https\/\/\:www'
10 -rl 'https\/\/\:www'
  

awk '!a[$0]++' foobar-1  ## 去除重复行;保存入原文件 ?x ?

论坛徽章:
5
CU十四周年纪念徽章
日期:2017-08-28 17:16:1915-16赛季CBA联赛之北控
日期:2018-03-29 11:39:0615-16赛季CBA联赛之上海
日期:2018-05-21 10:46:10技术图书徽章
日期:2018-09-03 13:54:18技术图书徽章
日期:2018-09-03 13:54:28
发表于 2018-02-03 09:22 |显示全部楼层
本帖最后由 龙牙地主天 于 2018-02-03 09:28 编辑
  1. awk '!a[$0]++{print > "foobar-1"}' foobar-1
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

数据风云,十年变迁
DTCC 第十届中国数据库技术大会已启航!

2019年5月8日~5月10日,由IT168旗下ITPUB企业社区平台主办的第十届中国数据库技术大会(DTCC2019),将在北京隆重召开。大会将邀请百余位行业专家,就热点技术话题进行分享,是广大数据领域从业人士的又一次年度盛会和交流平台。与SACC2018类似,本届大会将采用“3+2”模式:3天传统技术演讲+2天深度主题培训。大会不仅提供超100场的主题演讲,还会提供连续2天的深度课程培训,深化数据领域的项目落地实践方案。
DTCC2019,一场值得期待的数据技术盛会,殷切地希望您报名参与!

活动入口>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP