忘记密码   免费注册 查看新帖 | 论坛精华区

ChinaUnix.net

  平台 论坛 博客 认证专区 大话IT HPC论坛 徽章 文库 沙龙 自测 下载 频道自动化运维 虚拟化 储存备份 C/C++ PHP MySQL 嵌入式 Linux系统
最近访问板块 发新帖
查看: 479 | 回复: 8

[文本处理] 如何删除不符要求的行 [复制链接]

论坛徽章:
0
发表于 2017-03-14 17:39 |显示全部楼层
关于文件抽取的问题,想请教一些诸位大神:
1.txt长这样(共9列,最后一列最长)

chr1    Cufflinks       exon    840450  841059  .       +       .       gene_id "XLOC_000003"; transcript_id "TCONS_00000014"; exon_number "1"; gene_name "RP11-54O7.16"; oId "TCONS_00000006"; nearest_ref "ENST00000607769.1_1"; class_code "i"; tss_id "TSS13";
chr1    Cufflinks       exon    841182  843900  .       +       .       gene_id "XLOC_000003"; transcript_id "TCONS_00000014"; exon_number "2"; gene_name "RP11-54O7.16"; oId "TCONS_00000006"; nearest_ref "ENST00000607769.1_1"; class_code "i"; tss_id "TSS13";
chrMT   Mt_tRNA exon    577     647    .       +       .       gene_id "ENSG00000210049"; transcript_id "ENST00000387314"; exon_number "1"; gene_name "MT-TF"; gene_biotype "Mt_tRNA"; transcript_name "MT-TF-201"; exon_id "ENSE00001544501";


目标文件就是判断针对每一个相同gene_id,如果exon_number >1, 则保留整个gene_id的相关信息,如果没有则删除;

结果如下(gene_id "ENSG00000210049" 这个id只有exon_number "1" ,没有出现exon_number "2"等等,则删除):

chr1    Cufflinks       exon    840450  841059  .       +       .       gene_id "XLOC_000003"; transcript_id "TCONS_00000014"; exon_number "1"; gene_name "RP11-54O7.16"; oId "TCONS_00000006"; nearest_ref "ENST00000607769.1_1"; class_code "i"; tss_id "TSS13";
chr1    Cufflinks       exon    841182  843900  .       +       .       gene_id "XLOC_000003"; transcript_id "TCONS_00000014"; exon_number "2"; gene_name "RP11-54O7.16"; oId "TCONS_00000006"; nearest_ref "ENST00000607769.1_1"; class_code "i"; tss_id "TSS13";



感觉自己没有表述清楚,还望大神理解

论坛徽章:
27
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2017-03-14 18:12 |显示全部楼层
本帖最后由 moperyblue 于 2017-03-14 18:20 编辑

  1. awk -F'[ \t";]+' 'NR==FNR{if($14>1)a[$10]=1;next}a[$10]' 1.txt 1.txt
复制代码

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2017-03-14 19:00 |显示全部楼层
chr1    Cufflinks       exon    840450  841059  .       +       .       gene_id "XLOC_000003"; transcript_id "TCONS_00000014"; exon_number "1"; gene_name "RP11-54O7.16"; oId "TCONS_00000006"; nearest_ref "ENST00000607769.1_1"; class_code "i"; tss_id "TSS13";
你的这条记录的 exon_number "1" 也不是 2 为何结果中包含此记录?

论坛徽章:
0
发表于 2017-03-14 20:15 |显示全部楼层
回复 3# sunzhiguolu

是这样的,因为该id总共有两个,分别是1和2,所以都保留,有的id只有1个则删除,有的id则有1,2,3则都保留,就是2以及2以上的都保留

论坛徽章:
27
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
发表于 2017-03-14 20:30 |显示全部楼层

同一个gene_id如果其任一exon_number对应的值大于1则 保留这些gene_id所在的记录?

论坛徽章:
307
程序设计版块每周发帖之星
日期:2016-04-08 00:41:33操作系统版块每日发帖之星
日期:2015-09-02 06:20:00每日论坛发贴之星
日期:2015-09-02 06:20:00程序设计版块每日发帖之星
日期:2015-09-04 06:20:00每日论坛发贴之星
日期:2015-09-04 06:20:00每周论坛发贴之星
日期:2015-09-06 22:22:00程序设计版块每日发帖之星
日期:2015-09-09 06:20:00程序设计版块每日发帖之星
日期:2015-09-19 06:20:00程序设计版块每日发帖之星
日期:2015-09-20 06:20:00每日论坛发贴之星
日期:2015-09-20 06:20:00程序设计版块每日发帖之星
日期:2015-09-22 06:20:00程序设计版块每日发帖之星
日期:2015-09-24 06:20:00
发表于 2017-03-15 10:15 |显示全部楼层
回复 4# 蓝色未央
是这样的,因为该id总共有两个,分别是1和2,所以都保留,有的id只有1个则删除,有的id则有1,2,3则都保留,就是2以及2以上的都保留
你说的这些我还是没看明白,将删除的条件详细描述一下。


论坛徽章:
115
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07巳蛇
日期:2014-05-09 16:43:18巨蟹座
日期:2014-10-23 17:48:38子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59
发表于 2017-03-15 10:26 |显示全部楼层
http://bbs.chinaunix.net/thread-4259810-1-1.html
http://bbs.chinaunix.net/thread-4259658-1-1.html

$ awk 'BEGIN{O0O0="="=="=";OOO0="-"-"-";OO0=O0O0 OOO0}{O0O[$OO0]++;O00[$OO0]=$OOO0}END{for(OO0 in O0O)if(O0O[OO0]==O0O0)print O00[OO0]}' FILE
chrMT   Mt_tRNA exon    577     647    .       +       .       gene_id "ENSG00000210049"; transcript_id "ENST00000387314"; exon_number "1"; gene_name "MT-TF"; gene_biotype "Mt_tRNA"; transcript_name "MT-TF-201"; exon_id "ENSE00001544501";

论坛徽章:
0
发表于 2017-03-15 20:11 |显示全部楼层
回复 6# sunzhiguolu

谢谢你多次给予帮助,perl脚本已经解决了,感觉要恶补python和脚本命令了,再次谢谢

论坛徽章:
0
发表于 2017-03-15 20:12 |显示全部楼层
回复 7# jason680

谢谢大神多次给予帮助
您需要登录后才可以回帖 登录 | 注册

本版积分规则

SACC2017购票8.8折优惠进行时

2017中国系统架构师大会(SACC2017)将于10月19-21日在北京新云南皇冠假日酒店震撼来袭。今年,大会以“云智未来”为主题,云集国内外顶级专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。本届大会共设置2大主会场,18个技术专场;邀请来自互联网、金融、制造业、电商等多个领域,100余位技术专家及行业领袖来分享他们的经验;并将吸引4000+人次的系统运维、架构师及IT决策人士参会,为他们提供最具价值的交流平台。
----------------------------------------
优惠时间:2017年8月2日前

活动链接>>
  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802020122
广播电视节目制作经营许可证(京) 字第1234号 中国互联网协会会员  联系我们:
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP