免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1341 | 回复: 5

[文本处理] 如何将同一个文件第二列相同的行输出? [复制链接]

论坛徽章:
0
发表于 2017-06-25 10:27 |显示全部楼层
文件a:

1 abcd
2 defg
3 abcd
4 kdjh
5 hdhi
6 defg

输出文件b:
1 abcd
2 defg
3 abcd
6 defg

不胜感激

论坛徽章:
54
2015亚冠之德黑兰石油
日期:2015-07-07 13:00:1615-16赛季CBA联赛之深圳
日期:2016-03-31 09:03:5415-16赛季CBA联赛之辽宁
日期:2016-05-09 20:38:15程序设计版块每日发帖之星
日期:2016-05-12 06:20:0015-16赛季CBA联赛之四川
日期:2016-05-13 15:19:4715-16赛季CBA联赛之福建
日期:2016-05-15 20:24:34每日论坛发贴之星
日期:2016-05-16 06:20:0015-16赛季CBA联赛之吉林
日期:2016-05-26 11:49:4715-16赛季CBA联赛之广东
日期:2016-05-26 13:49:18极客徽章
日期:2016-12-07 14:05:2315-16赛季CBA联赛之广夏
日期:2016-12-20 17:33:532017金鸡报晓
日期:2017-01-10 15:19:56
发表于 2017-06-25 11:13 |显示全部楼层
  1. awk 'NR==FNR{a[$2]++;next}a[$2]>1' a a
  2. 1 abcd
  3. 2 defg
  4. 3 abcd
  5. 6 defg
复制代码

论坛徽章:
0
发表于 2017-06-25 12:36 |显示全部楼层
回复 2# haooooaaa

再次感谢

论坛徽章:
0
发表于 2017-06-30 19:48 |显示全部楼层
本帖最后由 liushouqiang12 于 2017-06-30 20:01 编辑

测试用单文件的效率怎么样:
  1. awk '{a[$2]++;b[$2]=(b[$2]"\n"$0)}END{for (i in a){if(a[i]>1) printf(b[i])}}'  a
复制代码

论坛徽章:
0
发表于 2017-06-30 19:51 |显示全部楼层
本帖最后由 liushouqiang12 于 2017-06-30 20:03 编辑

楼上大神的next更有技术含量,不知道效率上怎么样,没有数据作测试!!!

论坛徽章:
0
发表于 2017-07-01 14:09 |显示全部楼层
回复 5# liushouqiang12

效率很不错,也非常感谢你
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP