免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
12下一页
最近访问板块 发新帖
查看: 2404 | 回复: 11
打印 上一主题 下一主题

[文本处理] 多条件数据处理 [复制链接]

论坛徽章:
0
跳转到指定楼层
1 [收藏(0)] [报告]
发表于 2016-10-27 13:09 来自手机 |只看该作者 |倒序浏览
有一个文件file(空格分隔):
>NM_198493|m.1  NM_198493|g.1  type:5prime_partial  len:287  gc:universal  NM_198493:2-862(+)
>NM_198493|m.2  NM_198493|g.2  type:complete  len:153  gc:universal  NM_198493:1865-2323(+)
>NM_198493|m.3  NM_198493|g.3  type:complete  len:118  gc:universal  NM_198493:1954-2307(+)
>NM_173852|m.4  NM_173852|g.4  type:complete  len:163  gc:universal  NM_173852:27-515(+)
>NM_001135254|m.9  NM_001135254|g.9  type:complete  len:506 gc:universal  NM_001135254:599-2116(+)
>NM_001135254|m.10  NM_001135254|g.10  type:5prime_partial  len:142 gc:universal  NM_001135254:2-427(+)

如果NM编号相同的情况下选出len最大的,想要的结果如下:
>NM_198493|m.1  NM_198493|g.1  type:5prime_partial  len:287  gc:universal  NM_198493:2-862(+)
>NM_173852|m.4  NM_173852|g.4  type:complete  len:163  gc:universal  NM_173852:27-515(+)
>NM_001135254|m.9  NM_001135254|g.9  type:complete  len:506 gc:universal  NM_001135254:599-2116(+)

请问大神,该怎么弄呀???

论坛徽章:
28
15-16赛季CBA联赛之八一
日期:2016-02-22 19:10:4215-16赛季CBA联赛之深圳
日期:2016-12-01 10:34:0415-16赛季CBA联赛之新疆
日期:2016-12-07 10:24:2915-16赛季CBA联赛之同曦
日期:2016-12-15 12:06:43CU十四周年纪念徽章
日期:2016-12-18 13:03:4415-16赛季CBA联赛之吉林
日期:2017-01-03 15:52:2515-16赛季CBA联赛之辽宁
日期:2017-01-04 14:58:2415-16赛季CBA联赛之辽宁
日期:2017-01-15 09:42:512016科比退役纪念章
日期:2017-02-06 17:21:50黑曼巴
日期:2017-02-10 15:46:1215-16赛季CBA联赛之上海
日期:2017-03-18 10:14:5415-16赛季CBA联赛之青岛
日期:2017-03-18 22:00:44
2 [报告]
发表于 2016-10-27 13:21 |只看该作者

  1. awk -F'[ |:]+' 'NR==FNR{if($8>a[$1])a[$1]=$8;next}a[$1]==$8' file file
复制代码

论坛徽章:
145
技术图书徽章
日期:2013-10-01 15:32:13戌狗
日期:2013-10-25 13:31:35金牛座
日期:2013-11-04 16:22:07子鼠
日期:2013-11-18 18:48:57白羊座
日期:2013-11-29 10:09:11狮子座
日期:2013-12-12 09:57:42白羊座
日期:2013-12-24 16:24:46辰龙
日期:2014-01-08 15:26:12技术图书徽章
日期:2014-01-17 13:24:40巳蛇
日期:2014-02-18 14:32:59未羊
日期:2014-02-20 14:12:13白羊座
日期:2014-02-26 12:06:59
3 [报告]
发表于 2016-10-27 13:48 |只看该作者
回复 1# gooderpan

$ awk 'match($0,">NM_([0-9]+).+len:([0-9]+)",m){k=m[1];v=m[2];if(!d[k])b[++c]=k;if(d[k]<v){d[k]=v;a[k]=$0}}END{for(n=1;n<=c;++n)print a[b[n]]}' FILE
>NM_198493|m.1  NM_198493|g.1  type:5prime_partial  len:287  gc:universal  NM_198493:2-862(+)
>NM_173852|m.4  NM_173852|g.4  type:complete  len:163  gc:universal  NM_173852:27-515(+)
>NM_001135254|m.9  NM_001135254|g.9  type:complete  len:506 gc:universal  NM_001135254:599-2116(+)


论坛徽章:
1
15-16赛季CBA联赛之江苏
日期:2016-10-26 16:19:04
4 [报告]
发表于 2016-10-27 13:51 |只看该作者
  1. awk -F'[|: ]+' 'NR==FNR{if($8>a[$1])a[$1]=$8}NR!=FNR{for(i in a){if(a[i]==$8)print $0}}'  file file
复制代码

论坛徽章:
6
羊年新春福章
日期:2015-03-03 17:16:28双子座
日期:2015-03-03 17:16:56巳蛇
日期:2015-03-03 17:17:2415-16赛季CBA联赛之福建
日期:2016-03-11 09:05:00黑曼巴
日期:2016-07-07 16:58:1215-16赛季CBA联赛之吉林
日期:2016-11-14 09:23:07
5 [报告]
发表于 2016-10-27 13:53 |只看该作者
  1. awk 'BEGIN{FS="[\\| :]+"}NR==FNR{if(a[$3]<$8)a[$3]=$8;next}{for(i in a)if(a[i]==$8){print}}' file file
复制代码

论坛徽章:
0
6 [报告]
发表于 2016-10-27 14:56 |只看该作者
回复 4# fh21_xuejinlian
请问大神,这个命令怎么理解呢??求指教一二!

论坛徽章:
1
15-16赛季CBA联赛之江苏
日期:2016-10-26 16:19:04
7 [报告]
发表于 2016-10-27 15:37 |只看该作者
回复 6# gooderpan

$8是取的len后面的值,对于$1作为数组的下标,依次进行比较,选择出第一个字段相同并且,len值最大的那个值,比如说256,保存在数组中,接着读取另外一个文件,根据数组中的值,取出相应的行。因为如果数组中存的是256,那就把256这个行取出来。

论坛徽章:
0
8 [报告]
发表于 2016-10-27 15:58 |只看该作者
回复 4# fh21_xuejinlian


我是不明白中间的NR!=FNR  , 这2个文件一样的, 行数不是应该都相等的吗? 能否解释下
我知道可以NR!=FNR 去掉,前面花括号最后面加上;next

论坛徽章:
1
15-16赛季CBA联赛之江苏
日期:2016-10-26 16:19:04
9 [报告]
发表于 2016-10-27 16:04 |只看该作者
回复 8# y2j16888
  1. cat test1
  2. a
  3. b
  4. c
  5. d
  6. cat test2
  7. 1
  8. 2
  9. 3
  10. 4
  11. awk '{print NR,FNR}' test1 test2
  12. 1 1
  13. 2 2
  14. 3 3
  15. 4 4
  16. 5 1
  17. 6 2
  18. 7 3
  19. 8 4

复制代码


论坛徽章:
9
寅虎
日期:2013-12-02 12:49:22巨蟹座
日期:2014-07-18 18:13:34卯兔
日期:2014-07-25 14:43:08子鼠
日期:2014-07-26 10:10:51酉鸡
日期:2014-07-31 15:09:562015亚冠之本尤德科
日期:2015-05-19 09:27:382015亚冠之卡尔希纳萨夫
日期:2015-06-20 10:30:212015亚冠之阿尔纳斯尔
日期:2015-07-01 20:46:062015亚冠之城南
日期:2015-07-15 21:12:00
10 [报告]
发表于 2016-10-28 15:09 |只看该作者
  1. awk 'BEGIN{FS="[_|]"}{a[$2]=$2>a[$2]?$0:a[$2]}END{for(i in a)print a[i]}' test.txt
复制代码
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们:huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP