免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1032 | 回复: 1
打印 上一主题 下一主题

[文本处理] 如何删除全部重复行 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2017-06-01 13:57 |只看该作者 |倒序浏览

因为文本处理需要,大神路过,十分希望帮助!!!
1.txt文件如下:
现在想要依据第一列和第二列进行过滤,即第一列如果出现重复或者第二列出现重复,两种情况都包括,把所有的重复行均删除,不是剩下一行,是都删除。


TRINITY_DN116416_c0_g1::TRINITY_DN116416_c0_g1_i4::g.9::m.9        ALUE_0000634801-mRNA-1        27.00        237        147        6        853        1067       
TRINITY_DN103406_c0_g1::TRINITY_DN103406_c0_g1_i2::g.3::m.3        ALUE_0001335801-mRNA-1        46.27        255        102        5        97        335       
TRINITY_DN103406_c0_g1::TRINITY_DN103406_c0_g1_i2::g.3::m.3        ALUE_0000475601-mRNA-1        39.60        149        86        2        189        334       



结果文件:

TRINITY_DN116416_c0_g1::TRINITY_DN116416_c0_g1_i4::g.9::m.9        ALUE_0000634801-mRNA-1        27.00        237        147        6        853        1067

O(∩_∩)O谢谢大神帮忙,感激

论坛徽章:
3
15-16赛季CBA联赛之八一
日期:2017-12-29 13:06:2315-16赛季CBA联赛之天津
日期:2018-08-08 17:39:4619周年集字徽章-年
日期:2019-12-25 22:50:31
2 [报告]
发表于 2017-06-01 15:05 |只看该作者
sort -k2,1 -u
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP