免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 2476 | 回复: 10
打印 上一主题 下一主题

[文本处理] 重复字符串 [复制链接]

论坛徽章:
6
程序设计版块每日发帖之星
日期:2016-05-11 06:20:00操作系统版块每日发帖之星
日期:2016-05-12 06:20:00每日论坛发贴之星
日期:2016-05-12 06:20:00操作系统版块每日发帖之星
日期:2016-05-14 06:20:00程序设计版块每日发帖之星
日期:2016-05-31 06:20:00每日论坛发贴之星
日期:2016-05-31 06:20:00
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2017-11-22 16:17 |只看该作者 |倒序浏览
this is tecmint, where you get the best good tutorials, how to's, guides, tecmint.                                                                                       
this are is good.
good the apple ''.

重复字符串
this :2
tecmint :2
good : 3
......


论坛徽章:
0
2 [报告]
发表于 2017-11-22 16:25 |只看该作者
  1. awk -vRS='[^A-z]' 'NF{a[$0]++}END{for(i in a)print i":",a[i]}' a
  2. tutorials: 1
  3. you: 1
  4. best: 1
  5. this: 2
  6. apple: 1
  7. good: 3
  8. get: 1
  9. the: 2
  10. to: 1
  11. guides: 1
  12. tecmint: 2
  13. how: 1
  14. where: 1
  15. are: 1
  16. s: 1
  17. is: 2
复制代码

论坛徽章:
6
程序设计版块每日发帖之星
日期:2016-05-11 06:20:00操作系统版块每日发帖之星
日期:2016-05-12 06:20:00每日论坛发贴之星
日期:2016-05-12 06:20:00操作系统版块每日发帖之星
日期:2016-05-14 06:20:00程序设计版块每日发帖之星
日期:2016-05-31 06:20:00每日论坛发贴之星
日期:2016-05-31 06:20:00
3 [报告]
发表于 2017-11-22 17:28 |只看该作者
本帖最后由 1cpuer 于 2017-11-22 17:41 编辑

回复 2# nomethod

NF{a[$0]++}
这个地方不大懂
是不是数组 a 赋值给NF

# 只打印重复的再写一个

论坛徽章:
25
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:09黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏
日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛
日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海
日期:2018-12-11 09:45:3219周年集字徽章-年
日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳
日期:2020-04-19 21:40:19黑曼巴
日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一
日期:2018-07-03 16:56:46
4 [报告]
发表于 2017-11-22 19:59 |只看该作者
本帖最后由 wh7211 于 2017-11-22 20:01 编辑

回复 1# 1cpuer


  1. awk '{for(i=1;i<=NF;i++){gsub("[\047,.]","",$i);if($i){a[$i]++}}}END{for(j in a){print j": "a[j]}}' file
复制代码

输出:
tos: 1
tutorials: 1
you: 1
best: 1
this: 2
apple: 1
good: 3
get: 1
the: 2
guides: 1
tecmint: 2
how: 1
where: 1
are: 1
is: 2

论坛徽章:
6
程序设计版块每日发帖之星
日期:2016-05-11 06:20:00操作系统版块每日发帖之星
日期:2016-05-12 06:20:00每日论坛发贴之星
日期:2016-05-12 06:20:00操作系统版块每日发帖之星
日期:2016-05-14 06:20:00程序设计版块每日发帖之星
日期:2016-05-31 06:20:00每日论坛发贴之星
日期:2016-05-31 06:20:00
5 [报告]
发表于 2017-11-22 21:45 |只看该作者
回复 4# wh7211

写的可以2例多用到了类似

{for(j in a){print j": "a[j]}


只有1个词的不重复的不要打印行不

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
6 [报告]
发表于 2017-11-22 21:55 |只看该作者

论坛徽章:
6
程序设计版块每日发帖之星
日期:2016-05-11 06:20:00操作系统版块每日发帖之星
日期:2016-05-12 06:20:00每日论坛发贴之星
日期:2016-05-12 06:20:00操作系统版块每日发帖之星
日期:2016-05-14 06:20:00程序设计版块每日发帖之星
日期:2016-05-31 06:20:00每日论坛发贴之星
日期:2016-05-31 06:20:00
7 [报告]
发表于 2017-11-23 07:25 |只看该作者
this: 2
good: 3
the: 2
tecmint: 2
is: 2

想要如上结果的话怎么写

论坛徽章:
0
8 [报告]
发表于 2017-11-23 11:56 |只看该作者
提示: 作者被禁止或删除 内容自动屏蔽

论坛徽章:
25
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:09黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏
日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛
日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海
日期:2018-12-11 09:45:3219周年集字徽章-年
日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳
日期:2020-04-19 21:40:19黑曼巴
日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一
日期:2018-07-03 16:56:46
9 [报告]
发表于 2017-11-23 14:06 |只看该作者
回复 5# 1cpuer


  1. awk '{for(i=1;i<=NF;i++){gsub("[\047,.]","",$i);if($i){a[$i]++}}}END{for(j in a){if(a[j]>1){print j": "a[j]}}}' file
复制代码

输出:
this: 2
good: 3
the: 2
tecmint: 2
is: 2

论坛徽章:
6
程序设计版块每日发帖之星
日期:2016-05-11 06:20:00操作系统版块每日发帖之星
日期:2016-05-12 06:20:00每日论坛发贴之星
日期:2016-05-12 06:20:00操作系统版块每日发帖之星
日期:2016-05-14 06:20:00程序设计版块每日发帖之星
日期:2016-05-31 06:20:00每日论坛发贴之星
日期:2016-05-31 06:20:00
10 [报告]
发表于 2017-11-23 15:21 |只看该作者
回复 9# wh7211

领悟了
if(a[j]>1)
我是用 sed '/.*1$/d'
行未 1 的删或不显
亦可用 gsub 表示
只怪自己 awk 太差了
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP