免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 4078 | 回复: 13
打印 上一主题 下一主题

[文本处理] 【已解决】求一个统计行重复的AWK脚本 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2017-03-09 11:31 |只看该作者 |倒序浏览
本帖最后由 lanfeng356 于 2017-03-09 17:35 编辑

原始文件:
000A 000861
000B 000861
100A 000118
000B 000861
000C 000861
100B 000118
100A 000118
000C 000861
100B 000118
100A 000118



...总计1万行
要求:文件总计1万行,输出1万行,顺序和原来1万行一样;
        如果某行在文件中只出现一次,在行前打印 否 是 1
        如果某行在文件中出现多次,第一次统计时,在行前打印 是 是 1,第n(n>=2)次时,打印 是 否 n

以上原始文件想要的结果:
否 是 1 000A 000861
是 是 1 000B 000861
是 是 1 100A 000118
是 否 2 000B 000861
否 是 1 000C 000861
是 否 1 100B 000118
是 否 2 100A 000118
是 否 2 100B 000118
是 否 3 100A 000118



...一万行顺序和原始文件一样

求各位大侠给个AWK脚本。


论坛徽章:
54
2015亚冠之德黑兰石油
日期:2015-07-07 13:00:1615-16赛季CBA联赛之深圳
日期:2016-03-31 09:03:5415-16赛季CBA联赛之辽宁
日期:2016-05-09 20:38:15程序设计版块每日发帖之星
日期:2016-05-12 06:20:0015-16赛季CBA联赛之四川
日期:2016-05-13 15:19:4715-16赛季CBA联赛之福建
日期:2016-05-15 20:24:34每日论坛发贴之星
日期:2016-05-16 06:20:0015-16赛季CBA联赛之吉林
日期:2016-05-26 11:49:4715-16赛季CBA联赛之广东
日期:2016-05-26 13:49:18极客徽章
日期:2016-12-07 14:05:2315-16赛季CBA联赛之广夏
日期:2016-12-20 17:33:532017金鸡报晓
日期:2017-01-10 15:19:56
2 [报告]
发表于 2017-03-09 12:10 |只看该作者
  1. awk 'NR==FNR{a[$0]++;next}{if(a[$0]==1)$1="否 是 1 "$1;else if($0 in b)$1="是 是 "a[$0]" "$1;else{b[$0];$1="是 否 "a[$0]" "$1}}1' a a
复制代码

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
3 [报告]
发表于 2017-03-09 15:33 |只看该作者
本帖最后由 moperyblue 于 2017-03-09 15:38 编辑
  1. awk 'NR==FNR{a[$0]++;next}{print a[$0]<2?"否 是 1":++b[$0]<2?"是 是":"是 否",b[$0],$0}' file file
复制代码

论坛徽章:
0
4 [报告]
发表于 2017-03-09 15:48 |只看该作者
回复 2# haooooaaa

非常感谢大侠,我还有几个点不太理解,还请大侠赐教:1.awk 'NR==FNR{a[$0]++;next}{if(a[$0]==1)$1="否 是 1 "$1;else if($0 in b)$1="是 是 "a[$0]" "$1;else{b[$0];$1="是 否 "a[$0]" "$1}}1' a a 这个脚本中的b是怎么理解?
2.awk 'NR==FNR{a[$0]++;next}{if(a[$0]==1)$1="否 是 1 "$1;else if($0 in b)$1="是 是 "a[$0]" "$1;else{b[$0];$1="是 否 "a[$0]" "$1}}1' a a  脚本中最后的这个1是什么意思?我测试这个1和输出有关,没理解为什么有这个非0的数字就会打印,没有这个数字或者数字为0就不会打印呢?

论坛徽章:
0
5 [报告]
发表于 2017-03-09 15:48 |只看该作者
回复 2# haooooaaa

非常感谢大侠,我还有几个点不太理解,还请大侠赐教:
1.awk 'NR==FNR{a[$0]++;next}{if(a[$0]==1)$1="否 是 1 "$1;else if($0 in b)$1="是 是 "a[$0]" "$1;else{b[$0];$1="是 否 "a[$0]" "$1}}1' a a 这个脚本中的b是怎么理解?
2.awk 'NR==FNR{a[$0]++;next}{if(a[$0]==1)$1="否 是 1 "$1;else if($0 in b)$1="是 是 "a[$0]" "$1;else{b[$0];$1="是 否 "a[$0]" "$1}}1' a a  脚本中最后的这个1是什么意思?我测试这个1和输出有关,没理解为什么有这个非0的数字就会打印,没有这个数字或者数字为0就不会打印呢?

论坛徽章:
0
6 [报告]
发表于 2017-03-09 16:00 |只看该作者
回复 3# moperyblue

awk 'NR==FNR{a[$0]++;next}{print a[$0]<2?"否 是 1":++b[$0]<2?"是 是":"是 否",b[$0],$0}' file file

两位大侠都提到了b这个参数,请赐教这个b怎么理解?

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
7 [报告]
发表于 2017-03-09 16:05 |只看该作者
回复 6# lanfeng356


数组名称而已 用c或dd等其它字符或字符串表示都可以

论坛徽章:
0
8 [报告]
发表于 2017-03-09 16:57 |只看该作者
回复 7# moperyblue

awk 'NR==FNR{a[$0]++;next}{print a[$0]<2?"否 是 1":++b[$0]<2?"是 是":"是 否",b[$0],$0}' file file
我大概理解了,这个b[$0]是在读取第二个文件时,新建的数组,而a[$0]是读取第一个文件时的数组。

膜拜了,二位大侠~



论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
9 [报告]
发表于 2017-03-09 20:37 |只看该作者
那个 b 主要是用来处理某行的计数器。

论坛徽章:
0
10 [报告]
发表于 2017-03-10 16:10 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP