免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 559 | 回复: 3

[文本处理] 如何将重复的注释信息过滤 [复制链接]

论坛徽章:
0
发表于 2018-08-03 11:29 |显示全部楼层
A文件有两列:序列 注释信息。
scaffold1  INT/INT/INT/INT/INT/INT/INT/RT/RT/RT/RT/RH/RH/RH/RH/RH/RH/RH/RH/RH
scaffold2  GAG/GAG
scaffold3  GAG
scaffold4  INT/INT/INT/INT/INT/INT/INT/INT/INT/RT/RT/RT/RT/RT

B文件
scaffold1  INT/RT/RH
scaffold2  GAG
scaffold3  GAG
scaffold4  INT//RT



问题:如何将A文件中的注释信息过滤得到B文件

论坛徽章:
54
15-16赛季CBA联赛之北京
日期:2019-01-25 10:16:38白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:532015七夕节徽章
日期:2015-08-21 11:06:172015亚冠之大阪钢巴
日期:2015-06-25 17:30:042015亚冠之城南
日期:2015-06-25 15:10:58黄金圣斗士
日期:2015-12-02 11:44:3515-16赛季CBA联赛之佛山
日期:2016-05-27 11:54:56
发表于 2018-08-03 12:02 |显示全部楼层
跟这个贴一样的啊, 分隔符不一样而已

http://bbs.chinaunix.net/thread-4297489-1-1.html

  1. awk -vseq=/ '{b=split($2,a,seq);for(i=1;i<=b;i++){c[a[i]]++;if(c[a[i]]==1){d=d?d seq a[i]:a[i]}};print $1,d;delete c;d=""}' file
复制代码

论坛徽章:
21
程序设计版块每日发帖之星
日期:2016-05-03 06:20:0015-16赛季CBA联赛之深圳
日期:2018-06-15 14:59:3715-16赛季CBA联赛之八一
日期:2018-07-03 16:56:4615-16赛季CBA联赛之八一
日期:2018-07-05 10:34:09黑曼巴
日期:2018-07-06 15:19:5015-16赛季CBA联赛之佛山
日期:2018-08-03 13:19:3315-16赛季CBA联赛之山西
日期:2018-08-07 19:46:2315-16赛季CBA联赛之广夏
日期:2018-08-08 19:31:5015-16赛季CBA联赛之青岛
日期:2018-11-26 15:21:5015-16赛季CBA联赛之青岛
日期:2018-06-08 13:45:2815-16赛季CBA联赛之同曦
日期:2018-06-04 19:42:2015-16赛季CBA联赛之山东
日期:2018-05-30 12:44:59
发表于 2018-08-03 13:14 |显示全部楼层
回复 1# wd_my


  1. awk '{b=split($2,a,"/");for(i=1;i<=b;i++){c[a[i]]++;if(c[a[i]]==1){d=d?d"/"a[i]:a[i]}};print $1,d;delete c;d=""}' file
  2. scaffold1 INT/RT/RH
  3. scaffold2 GAG
  4. scaffold3 GAG
  5. scaffold4 INT/RT
复制代码

论坛徽章:
21
申猴
日期:2014-10-10 15:56:39射手座
日期:2014-10-10 15:57:18黑曼巴
日期:2018-05-14 11:05:122016科比退役纪念章
日期:2018-05-14 11:05:0715-16赛季CBA联赛之北控
日期:2018-05-14 11:05:0015-16赛季CBA联赛之江苏
日期:2017-02-27 18:11:0715-16赛季CBA联赛之上海
日期:2018-08-15 09:48:5415-16赛季CBA联赛之佛山
日期:2018-07-20 17:14:23
发表于 2018-08-03 13:21 |显示全部楼层
  1. [root@djangoc170 tmp]# awk -F '[/| ]+' '{for(i=2;i<=NF;i++){a[$i]=$i};printf $1" ";for(j in a){printf a[j]"/";delete a[j]};print ""}' 1.txt
  2. scaffold1 INT/RT/RH/
  3. scaffold2 GAG/
  4. scaffold3 GAG/
  5. scaffold4 INT/RT/
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

基于案例的 SQL 优化实战训练营

讲师:中电福富特级专家梁敬彬,参与本次课程培训,你将收获:
1. 能编写出较为高效的 SQL;
2. 能解决70%以上的数据库常见优化问题;
3. 能得到老师提供的高效的相关工具和解决方案;
4. 能举一反三,收获不仅仅是 SQL 优化。
现在购票享受8.8折优惠!
----------------------------------------
优惠时间:2019年3月20日前

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP