免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
123下一页
最近访问板块 发新帖
查看: 5603 | 回复: 20
打印 上一主题 下一主题

[文本处理] 怎么用comm命令输出./test文件中重复的字符串 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2012-10-04 18:58 |只看该作者 |倒序浏览
./test文件中有很多行,每一行都是字符串。我想把重复的那些行的字符串输出来,怎么操作?

论坛徽章:
0
2 [报告]
发表于 2012-10-04 22:08 |只看该作者
一定要用comm吗?
指test文件贴上来看看

论坛徽章:
0
3 [报告]
发表于 2012-10-04 22:22 |只看该作者
回复 2# kk5234


    这是题目指定的,一定要用comm命令。
   ./test没给具体的内容,但是题目中表明说有几百万行。
最后吐槽一下:这都什么题啊,怎么这么难

论坛徽章:
0
4 [报告]
发表于 2012-10-04 22:25 |只看该作者

  1. awk '{a[$0]++}END{for(i in a)  if (a[i]>1) print i}' test
复制代码

论坛徽章:
0
5 [报告]
发表于 2012-10-04 22:34 |只看该作者
回复 4# kingoftime3


    没看懂,$1表示第一字段,$2表示第二字段,...,$0表示整个一行的记录,所有字段啊

论坛徽章:
1
辰龙
日期:2014-05-22 11:38:58
6 [报告]
发表于 2012-10-05 20:55 |只看该作者
本帖最后由 winway1988 于 2012-10-05 20:56 编辑

up

split,再comm?

我也想知道答案

论坛徽章:
1
CU十二周年纪念徽章
日期:2013-10-24 15:41:34
7 [报告]
发表于 2012-10-06 00:18 |只看该作者
回复 3# wy200747055


    二分,递归??

论坛徽章:
1
2015年辞旧岁徽章
日期:2015-03-03 16:54:15
8 [报告]
发表于 2012-10-06 20:36 |只看该作者
乱写的。
  1. $ cat test
  2. aaa
  3. bbb
  4. aaa
  5. bbb
  6. bbb
  7. ccc
  8. ddd
  9. eee
  10. eee
  11. fff
  12. $ cat test | sort | uniq | comm -3 test - | uniq
  13. aaa
  14. bbb
  15. eee
复制代码

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
9 [报告]
发表于 2012-10-06 20:53 |只看该作者
回复 5# wy200747055


hash数组判断重复行的基础用法。
整行内容作为key,该行内容出现的次数作为value,value=1表示出现过一次,value=2表示出现过两次(重复行)......

论坛徽章:
33
ChinaUnix元老
日期:2015-02-02 08:55:39CU十四周年纪念徽章
日期:2019-08-20 08:30:3720周年集字徽章-周	
日期:2020-10-28 14:13:3020周年集字徽章-20	
日期:2020-10-28 14:04:3019周年集字徽章-CU
日期:2019-09-08 23:26:2519周年集字徽章-19
日期:2019-08-27 13:31:262016科比退役纪念章
日期:2022-04-24 14:33:24
10 [报告]
发表于 2012-10-06 20:56 |只看该作者
回复 3# wy200747055


也许是出题人没学好awk
也许是出题人自己做试验的时候发现处理百万级别的文本时comm效率高(我没测试但是对此持怀疑态度)
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP