免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 461 | 回复: 3

[文本处理] 如何将重复的注释信息过滤 [复制链接]

论坛徽章:
0
发表于 2018-08-03 11:29 |显示全部楼层
A文件有两列:序列 注释信息。
scaffold1  INT/INT/INT/INT/INT/INT/INT/RT/RT/RT/RT/RH/RH/RH/RH/RH/RH/RH/RH/RH
scaffold2  GAG/GAG
scaffold3  GAG
scaffold4  INT/INT/INT/INT/INT/INT/INT/INT/INT/RT/RT/RT/RT/RT

B文件
scaffold1  INT/RT/RH
scaffold2  GAG
scaffold3  GAG
scaffold4  INT//RT



问题:如何将A文件中的注释信息过滤得到B文件

论坛徽章:
54
15-16赛季CBA联赛之北京
日期:2019-01-25 10:16:38白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:532015七夕节徽章
日期:2015-08-21 11:06:172015亚冠之大阪钢巴
日期:2015-06-25 17:30:042015亚冠之城南
日期:2015-06-25 15:10:58黄金圣斗士
日期:2015-12-02 11:44:3515-16赛季CBA联赛之佛山
日期:2016-05-27 11:54:56
发表于 2018-08-03 12:02 |显示全部楼层
跟这个贴一样的啊, 分隔符不一样而已

http://bbs.chinaunix.net/thread-4297489-1-1.html

  1. awk -vseq=/ '{b=split($2,a,seq);for(i=1;i<=b;i++){c[a[i]]++;if(c[a[i]]==1){d=d?d seq a[i]:a[i]}};print $1,d;delete c;d=""}' file
复制代码

论坛徽章:
21
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之深圳
日期:2018-06-15 14:59:3715-16赛季CBA联赛之八一
日期:2018-07-03 16:56:4615-16赛季CBA联赛之八一
日期:2018-07-05 10:34:09黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏
日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛
日期:2018-11-26 15:21:5015-16赛季CBA联赛之青岛
日期:2018-06-08 13:45:2815-16赛季CBA联赛之同曦
日期:2018-06-04 19:42:2015-16赛季CBA联赛之山东
日期:2018-05-30 12:44:59
发表于 2018-08-03 13:14 |显示全部楼层
回复 1# wd_my


  1. awk '{b=split($2,a,"/");for(i=1;i<=b;i++){c[a[i]]++;if(c[a[i]]==1){d=d?d"/"a[i]:a[i]}};print $1,d;delete c;d=""}' file
  2. scaffold1 INT/RT/RH
  3. scaffold2 GAG
  4. scaffold3 GAG
  5. scaffold4 INT/RT
复制代码

论坛徽章:
21
申猴
日期:2014-10-10 15:56:39射手座
日期:2014-10-10 15:57:18黑曼巴
日期:2018-05-14 11:05:122016科比退役纪念章
日期:2018-05-14 11:05:0715-16赛季CBA联赛之北控
日期:2018-05-14 11:05:0015-16赛季CBA联赛之江苏
日期:2017-02-27 18:11:0715-16赛季CBA联赛之上海
日期:2018-08-15 09:48:5415-16赛季CBA联赛之佛山
日期:2018-07-20 17:14:23
发表于 2018-08-03 13:21 |显示全部楼层
  1. [root@djangoc170 tmp]# awk -F '[/| ]+' '{for(i=2;i<=NF;i++){a[$i]=$i};printf $1" ";for(j in a){printf a[j]"/";delete a[j]};print ""}' 1.txt
  2. scaffold1 INT/RT/RH/
  3. scaffold2 GAG/
  4. scaffold3 GAG/
  5. scaffold4 INT/RT/
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

数据风云,十年变迁
DTCC 第十届中国数据库技术大会已启航!

2019年5月8日~5月10日,由IT168旗下ITPUB企业社区平台主办的第十届中国数据库技术大会(DTCC2019),将在北京隆重召开。大会将邀请百余位行业专家,就热点技术话题进行分享,是广大数据领域从业人士的又一次年度盛会和交流平台。与SACC2018类似,本届大会将采用“3+2”模式:3天传统技术演讲+2天深度主题培训。大会不仅提供超100场的主题演讲,还会提供连续2天的深度课程培训,深化数据领域的项目落地实践方案。
DTCC2019,一场值得期待的数据技术盛会,殷切地希望您报名参与!

活动入口>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP