免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Shell › 帮忙解释一下这句awk语句

最近访问板块

发新帖

查看: 1530 | 回复: 4

上一主题

下一主题

[文本处理] 帮忙解释一下这句awk语句 [复制链接]

论坛徽章:: 2

数据库技术版块每日发帖之星
日期:2016-02-15 06:20:00

2016猴年福章徽章
日期:2016-02-18 15:30:34

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2016-01-22 16:39 |只看该作者 |倒序浏览

awk '!seen[$0]++' file
这是去除文件重复记录的语句，哪位大神帮忙解释一下，越详细越好。多谢！

文库|博客

论坛徽章:: 54

2015亚冠之德黑兰石油
日期:2015-07-07 13:00:16

15-16赛季CBA联赛之深圳
日期:2016-03-31 09:03:54

15-16赛季CBA联赛之辽宁
日期:2016-05-09 20:38:15

程序设计版块每日发帖之星
日期:2016-05-12 06:20:00

15-16赛季CBA联赛之四川
日期:2016-05-13 15:19:47

15-16赛季CBA联赛之福建
日期:2016-05-15 20:24:34

每日论坛发贴之星
日期:2016-05-16 06:20:00

15-16赛季CBA联赛之吉林
日期:2016-05-26 11:49:47

15-16赛季CBA联赛之广东
日期:2016-05-26 13:49:18

极客徽章
日期:2016-12-07 14:05:23

15-16赛季CBA联赛之广夏
日期:2016-12-20 17:33:53

2017金鸡报晓
日期:2017-01-10 15:19:56

2楼 [报告]

发表于 2016-01-22 16:44 |只看该作者

看精华帖。。。

http://bbs.chinaunix.net/forum.p ... st%3D1%26digest%3D1

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 16

CU十二周年纪念徽章
日期:2013-10-24 15:41:34

15-16赛季CBA联赛之广东
日期:2015-12-23 21:21:55

青铜圣斗士
日期:2015-12-05 10:35:30

黄金圣斗士
日期:2015-11-26 20:42:16

神斗士
日期:2015-11-19 12:47:50

每日论坛发贴之星
日期:2015-11-18 06:20:00

程序设计版块每日发帖之星
日期:2015-11-18 06:20:00

2015亚冠之城南
日期:2015-11-10 19:10:49

2015亚冠之萨济拖拉机
日期:2015-10-28 18:47:28

2015亚冠之柏太阳神
日期:2015-08-30 17:21:49

2015亚冠之山东鲁能
日期:2015-07-07 18:48:39

摩羯座
日期:2014-08-29 23:01:42

3楼 [报告]

发表于 2016-01-22 17:40 |只看该作者

remove duplicate line

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 20

程序设计版块每日发帖之星
日期:2015-10-11 06:20:00

15-16赛季CBA联赛之山东
日期:2016-05-28 18:18:56

15-16赛季CBA联赛之新疆
日期:2017-04-12 22:55:47

15-16赛季CBA联赛之青岛
日期:2017-06-26 18:30:03

15-16赛季CBA联赛之四川
日期:2017-09-04 12:27:03

15-16赛季CBA联赛之福建
日期:2018-02-09 14:28:33

15-16赛季CBA联赛之同曦
日期:2018-04-17 12:43:34

15-16赛季CBA联赛之浙江
日期:2018-07-14 13:27:40

15-16赛季CBA联赛之吉林
日期:2018-09-13 15:48:29

15-16赛季CBA联赛之新疆
日期:2016-05-07 05:05:32

15-16赛季CBA联赛之八一
日期:2016-03-14 12:32:06

程序设计版块每日发帖之星
日期:2015-12-12 06:20:00

4楼 [报告]

发表于 2016-01-22 18:18 |只看该作者

本帖最后由 baby_神于 2016-01-22 18:19 编辑

awk '!seen[$0]++'
第一次执行的时候seen[$0]++为0，非0就是真，就打印
第二次执行的时候如果seen下标（即$0）一样就加1,些时seen[$0]++为1，非1就是0（即假），不打印；如果seen下标不一样,seen[$0]++还是为0，非0就是真，就打印
依次类推，就是去重。。。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 2

数据库技术版块每日发帖之星
日期:2016-02-15 06:20:00

2016猴年福章徽章
日期:2016-02-18 15:30:34

5楼 [报告]

发表于 2016-01-23 16:55 |只看该作者

统一回复楼上各位大神，感谢！

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › Shell › 帮忙解释一下这句awk语句

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP