免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1815 | 回复: 8

[文本处理] 去除重复字段,重复字段不一定紧挨着 [复制链接]

论坛徽章:
0
发表于 2015-04-16 11:59 |显示全部楼层
如题,想去除文件行中多余的重复字段,这些重复字段不一定相邻。

例如:
LOC_Os01g01040  GO:0008150,GO:0003674,GO:0008150,GO:0003674,GO:0008150,GO:0003674
LOC_Os01g01050  GO:0003676,GO:0003676

结果只输出:
LOC_Os01g01040  GO:0008150,GO:0003674
LOC_Os01g01050  GO:0003676

改如何实现呢?

论坛徽章:
5
未羊
日期:2014-08-04 16:15:21天秤座
日期:2014-08-13 13:52:372015年辞旧岁徽章
日期:2015-03-03 16:54:152015年迎新春徽章
日期:2015-03-04 09:56:112015亚冠之浦和红钻
日期:2015-06-29 15:30:48
发表于 2015-04-16 12:42 |显示全部楼层
  1. awk -v RS=' |,' '!a[$0]++{printf $0" "}'
复制代码

求职 : 机器学习
论坛徽章:
79
2015年亚洲杯纪念徽章
日期:2015-05-06 19:18:572015七夕节徽章
日期:2015-08-21 11:06:172015亚冠之阿尔纳斯尔
日期:2015-09-07 09:30:232015亚冠之萨济拖拉机
日期:2015-10-21 08:26:3915-16赛季CBA联赛之浙江
日期:2015-12-30 09:59:1815-16赛季CBA联赛之浙江
日期:2016-01-10 12:35:21技术图书徽章
日期:2016-01-15 11:07:2015-16赛季CBA联赛之新疆
日期:2016-02-24 13:46:0215-16赛季CBA联赛之吉林
日期:2016-06-26 01:07:172015-2016NBA季后赛纪念章
日期:2016-06-28 17:44:45黑曼巴
日期:2016-06-28 17:44:4515-16赛季CBA联赛之浙江
日期:2017-07-18 13:41:54
发表于 2015-04-16 12:42 |显示全部楼层
本帖最后由 zsszss0000 于 2015-04-16 12:43 编辑
  1. awk -vFS=" +|," '{num=0;for(i=1;i<=NF;i++){a[$i]=1}for(j in a){printf j"\t"}printf"\n";delete a}' file
复制代码
  1. GO:0003674      GO:0008150      LOC_Os01g01040
  2. GO:0003676      LOC_Os01g01050
复制代码

论坛徽章:
60
20周年集字徽章-20	
日期:2020-10-28 14:04:3015-16赛季CBA联赛之北京
日期:2016-07-06 15:42:0715-16赛季CBA联赛之同曦
日期:2016-06-12 10:38:0915-16赛季CBA联赛之佛山
日期:2016-05-27 11:54:56黄金圣斗士
日期:2015-12-02 11:44:35白银圣斗士
日期:2015-11-25 14:32:43白银圣斗士
日期:2015-11-23 12:53:352015亚冠之布里斯班狮吼
日期:2015-10-21 16:55:482015亚冠之首尔
日期:2015-09-01 16:46:052015亚冠之德黑兰石油
日期:2015-08-31 11:39:192015亚冠之萨济拖拉机
日期:2015-08-28 21:06:5315-16赛季CBA联赛之广东
日期:2016-07-12 14:58:53
发表于 2015-04-16 12:43 |显示全部楼层
  1. awk '{for(i=1;i<=split($2,a,",");i++)if(!b[a[i]]++)s=s?s","a[i]:a[i];print $1,s;s="";delete b}' file
复制代码

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
发表于 2015-04-16 12:48 |显示全部楼层
回复 1# iamline

$ awk -F'[\t ,]+' '{s=d="";delete a;for(n=2;n<=NF;n++){if(!a[$n])s=s d $n;d=",";a[$n]=1};print $1,s}' FILE
LOC_Os01g01040 GO:0008150,GO:0003674
LOC_Os01g01050 GO:0003676

论坛徽章:
30
申猴
日期:2014-04-10 09:43:532015年亚洲杯纪念徽章
日期:2015-03-20 14:40:232015亚冠之阿尔纳斯尔
日期:2015-06-02 18:59:042015亚冠之阿尔希拉尔
日期:2015-06-30 15:22:572015亚冠之大阪钢巴
日期:2015-07-20 10:44:332015亚冠之阿尔纳斯尔
日期:2015-10-28 14:57:5215-16赛季CBA联赛之新疆
日期:2015-12-25 10:18:45黑曼巴
日期:2016-06-26 21:39:5315-16赛季CBA联赛之山西
日期:2016-07-25 21:54:2715-16赛季CBA联赛之北京
日期:2016-10-27 12:07:2315-16赛季CBA联赛之八一
日期:2017-07-07 16:39:0915-16赛季CBA联赛之吉林
日期:2017-09-04 12:14:43
发表于 2015-04-16 13:41 |显示全部楼层
  1. awk -F, '{printf $1;split($1,a," ");t=a[2];for(i=1;i<=NF;i++) {if($2!=t) print FS$2;t=$2;}}' file
复制代码
回复 1# iamline


   

论坛徽章:
0
发表于 2015-04-16 14:14 |显示全部楼层
谢谢各位大虾的帮忙啊!!!

论坛徽章:
28
2015年迎新春徽章
日期:2015-03-04 10:16:53午马
日期:2015-03-20 17:11:07亥猪
日期:2015-03-20 17:11:23戌狗
日期:2015-03-20 17:11:33酉鸡
日期:2015-03-20 17:11:47申猴
日期:2015-03-20 17:11:58未羊
日期:2015-03-20 17:12:10子鼠
日期:2015-03-20 17:12:23丑牛
日期:2015-03-20 17:12:40卯兔
日期:2015-03-20 17:12:51辰龙
日期:2015-03-20 17:13:00巳蛇
日期:2015-03-20 17:13:12
发表于 2015-04-16 17:04 |显示全部楼层
本帖最后由 我是一隻羊 于 2015-04-16 18:55 编辑

回复 1# iamline
  1. sed -r ':a;s/(G[^,]+)(,)(.*)\1,?(.*)/\1\2\3\4/;ta;s/,$//' inputfile
复制代码

论坛徽章:
3
酉鸡
日期:2014-04-23 17:17:56丑牛
日期:2014-05-08 11:41:302015亚冠之德黑兰石油
日期:2015-08-03 11:14:27
发表于 2015-04-17 16:49 |显示全部楼层
回复 8# 我是一隻羊


    这个思路很好,学习了~mark
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP