免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1153 | 回复: 3

[文本处理] 如何将重复的注释信息过滤 [复制链接]

论坛徽章:
0
发表于 2018-08-03 11:29 |显示全部楼层
A文件有两列:序列 注释信息。
scaffold1  INT/INT/INT/INT/INT/INT/INT/RT/RT/RT/RT/RH/RH/RH/RH/RH/RH/RH/RH/RH
scaffold2  GAG/GAG
scaffold3  GAG
scaffold4  INT/INT/INT/INT/INT/INT/INT/INT/INT/RT/RT/RT/RT/RT

B文件
scaffold1  INT/RT/RH
scaffold2  GAG
scaffold3  GAG
scaffold4  INT//RT



问题:如何将A文件中的注释信息过滤得到B文件

论坛徽章:
60
20周年集字徽章-20	
日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京
日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦
日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山
日期:2016-05-27 11:54:56黄金圣斗士
日期:2015-12-02 11:44:35白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东
日期:2016-07-12 14:58:53
发表于 2018-08-03 12:02 |显示全部楼层
跟这个贴一样的啊, 分隔符不一样而已

http://bbs.chinaunix.net/thread-4297489-1-1.html

  1. awk -vseq=/ '{b=split($2,a,seq);for(i=1;i<=b;i++){c[a[i]]++;if(c[a[i]]==1){d=d?d seq a[i]:a[i]}};print $1,d;delete c;d=""}' file
复制代码

论坛徽章:
25
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之八一
日期:2018-07-05 10:34:09黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏
日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛
日期:2018-11-26 15:21:5015-16赛季CBA联赛之上海
日期:2018-12-11 09:45:3219周年集字徽章-年
日期:2020-04-18 23:54:5215-16赛季CBA联赛之深圳
日期:2020-04-19 21:40:19黑曼巴
日期:2022-04-03 17:55:1315-16赛季CBA联赛之八一
日期:2018-07-03 16:56:46
发表于 2018-08-03 13:14 |显示全部楼层
回复 1# wd_my


  1. awk '{b=split($2,a,"/");for(i=1;i<=b;i++){c[a[i]]++;if(c[a[i]]==1){d=d?d"/"a[i]:a[i]}};print $1,d;delete c;d=""}' file
  2. scaffold1 INT/RT/RH
  3. scaffold2 GAG
  4. scaffold3 GAG
  5. scaffold4 INT/RT
复制代码

论坛徽章:
24
申猴
日期:2014-10-10 15:56:39射手座
日期:2014-10-10 15:57:18黑曼巴
日期:2018-05-14 11:05:122016科比退役纪念章
日期:2018-05-14 11:05:0715-16赛季CBA联赛之北控
日期:2018-05-14 11:05:0015-16赛季CBA联赛之江苏
日期:2017-02-27 18:11:0715-16赛季CBA联赛之上海
日期:2018-08-15 09:48:5415-16赛季CBA联赛之佛山
日期:2018-07-20 17:14:2315-16赛季CBA联赛之佛山
日期:2019-09-10 18:08:4615-16赛季CBA联赛之山西
日期:2020-03-26 09:40:5115-16赛季CBA联赛之佛山
日期:2020-05-08 09:03:54
发表于 2018-08-03 13:21 |显示全部楼层
  1. [root@djangoc170 tmp]# awk -F '[/| ]+' '{for(i=2;i<=NF;i++){a[$i]=$i};printf $1" ";for(j in a){printf a[j]"/";delete a[j]};print ""}' 1.txt
  2. scaffold1 INT/RT/RH/
  3. scaffold2 GAG/
  4. scaffold3 GAG/
  5. scaffold4 INT/RT/
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP