awk挑取目标信息

iamline

我有一个文件，如下：

1. g1.t1        gi|6322029            beta-fructofuranosidase SUC2         100%
   
2. g1.t1        gi|151943004        invertase          100%
   
3. g1.t1        gi|190406374        invertase 2 external form precursor         100%
   
4. g1.t1        gi|259147091        Suc2p              100%
   
5. g1.t1        gi|256270229        Suc2p              100%
   
6. g2.t1        gi|8980428            cytochrome oxidase subunit II         100%
   
7. g2.t1        gi|50812098            cytochrome c oxidase subunit 2         100%
   
8. g2.t1        gi|491103312        putative cytochrome c oxydase, subunit 2 (mitochondrion)        99%
   
9. g2.t1        gi|57790532            putative cytochrome c oxydase, subunit 2        99%
   
10. g3.t1        gi|50304021            hypothetical protein         97%
    
11. g3.t1        gi|367009920        hypothetical protein TDEL_0B01210         98%
    
12. g3.t1        gi|50294508            hypothetical protein         98%
    
13. g3.t1        gi|410074219        hypothetical protein KAFR_0A01180         97%
    
14. g3.t1        gi|365987047        hypothetical protein NDAI_0E02950         97%
    
15. g4.t1        gi|50312033            hypothetical protein         92%
    
16. g4.t1        gi|410080105        hypothetical protein KAFR_0E03460         79%
    
17. g4.t1        gi|254581928        ZYRO0D11858p         77%
    
18. g4.t1        gi|410080103        hypothetical protein KAFR_0E03450         78%
    
19. g4.t1        gi|444319104        hypothetical protein TBLA_0D01820         79%
    
20. g5.t1        gi|1730047            RecName: Full=Hexose transporter 2  permease         76%
    
21. g6.t1        gi|1730047            RecName: Full=Hexose transporter 2  permease         91%
    
22. g6.t1        gi|1730047            RecName: Full=Hexose transporter 2  permease         91%
    
23. g6.t1        gi|255714649        KLTH0E02772p         89%
    
24. g6.t1        gi|50284831            hypothetical protein         89%
    
25. g6.t1        gi|50284831            hypothetical protein         88%
    
26. g7.t1        gi|42521636            beta-D-galactosidase         86%
    
27. g7.t1        gi|50304489            hypothetical protein         86%

复制代码

想进行如下处理：以$1为key（同一个key一般有多行），key相同时比较$3（信息列），如果$3不是hypothetical protein，则输出每个key的第一个信息行，余下的行舍弃； 但是如果$3是hypothetical protein，则往下匹配第二行，第三行……若碰到排在最前的第一个不是hypothetical protein的行，则输出； 若全部都是hypothetical protein，则还是输出第一个信息行

得到如下的结果：

1. g1.t1        gi|6322029        beta-fructofuranosidase SUC2         100%
   
2. g2.t1        gi|8980428        cytochrome oxidase subunit II         100%
   
3. g3.t1        gi|50304021        hypothetical protein         97%
   
4. g4.t1        gi|254581928        ZYRO0D11858p         77%
   
5. g5.t1        gi|1730047        RecName: Full=Hexose transporter 2  permease         76%
   
6. g6.t1        gi|1730047        RecName: Full=Hexose transporter 2  permease         91%
   
7. g7.t1        gi|42521636        beta-D-galactosidase         86%

复制代码

期待各大侠指点啊！！

ly5066113

回复 1# iamline


try:

1. awk '$1!=s||(!/hypothetical/&&!b[$1]++&&a[$1]~/hypothetical/){a[$1]=$0}{s=$1}END{for(i in a)print a[i]}' file

复制代码

zhaopingzi

回复 2# ly5066113

     讲下代码，谢谢！
   

iamline

ly5066113 发表于 2014-02-14 13:48
回复 1# iamline

我试了一下，g4.t1 的输出不满足，想要输出的是这一行  g4.t1        gi|254581928        ZYRO0D11858p         77%

jason680

回复 1# iamline

g[] for "got it" flag array
s[] for output string array
c[] for count array for $1 key to save data sequence

$ awk '!g[$1]{if(s[$1]==""){c[++t]=$1;s[$1]=$0};if($3!="hypothetical"){s[$1]=$0;g[$1]=1}}END{for(n=1;n<=t;n++)print s[c[n]]}' FILE
g1.t1        gi|6322029            beta-fructofuranosidase SUC2         100%
g2.t1        gi|8980428            cytochrome oxidase subunit II         100%
g3.t1        gi|50304021            hypothetical protein         97%
g4.t1        gi|254581928        ZYRO0D11858p         77%
g5.t1        gi|1730047            RecName: Full=Hexose transporter 2  permease         76%
g6.t1        gi|1730047            RecName: Full=Hexose transporter 2  permease         91%
g7.t1        gi|42521636            beta-D-galactosidase         86%

   

ly5066113

回复 3# zhaopingzi


$1 第一次出现的行，用 a[$1]=$0 记录。
非 hypothetical 的 $1 第一次出现的行，如果 a[$1] 包含 hypothetical 则替换 a[$1] 为当前行。

ly5066113

回复 4# iamline


已修正。

zhaopingzi

回复 6# ly5066113


       当开始执行第一行时是不是因为没执行到s=$1,所以s=0？

iamline

jason680 发表于 2014-02-14 14:19
回复 1# iamline

g[] for "got it" flag array

非常感谢，就是写得太高端了，看不是很明白  

iamline

ly5066113 发表于 2014-02-14 13:48
回复 1# iamline

实在太感谢了