去除重复内容并合并多个文本

tingshuibanxia

如题。假如
文本A：
>123
EWDRESRF
>434  7
GFHHHHHHHHHHHHSD
>4_  7
RTGFGFHGFF
...

文本B：
>34SF
EDWRDFDEWDRESRFRFEFQQQ
>3_  7
RTGFGFHGF
>1111111111
GFHHHHHHHHHHHHSD
...

文本C：
>123
RTGFGFHGF
>RER
DFFDGFHOEIWR
...

将文本间相同序列合并为一个（加粗部分），并且标识符>以第一个文件为准，只保留多个文本各自不同的部分和共有部分，
上述得到：

>123
EWDRESRF
>434  7
GFHHHHHHHHHHHHSD
>4_  7
RTGFGFHGFF
>34SF
EDWRDFDEWDRESRFRFEFQQQ
>RER
DFFDGFHOEIWR

MMMIX

就是根据序列去重嘛

jason680

去重 ==> !$h{$_}++

$ perl -lne '{if(m/^>/){$k=$_;next}if(!$h{$_}++){print "$k\n$_"}}' A B C
>123
EWDRESRF
>434  7
GFHHHHHHHHHHHHSD
>4_  7
RTGFGFHGFF
>34SF
EDWRDFDEWDRESRFRFEFQQQ
>3_  7
RTGFGFHGF
>RER
DFFDGFHOEIWR

sunzhiguolu

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. 
   
5. $/ = ">";
   
6. my (%hKeys);
   
7. while (<>){
   
8.     chomp;
   
9.     my ($id, $str) = split (/\n/);
   
10.     next if (!$id);
    
11.     if ($ARGV eq 'a'){
    
12.         $hKeys{$id} = $str;
    
13.         print ">$id\n$str\n";
    
14.         next;
    
15.     }
    
16.     next if (exists $hKeys{$id} or grep {$_ eq $str} values %hKeys);
    
17.     print ">$id\n$str\n";
    
18. }
    

复制代码

perl abc.pl a b c
--------------------------------------------------------------------------------------------
>123
EWDRESRF
>434  7
GFHHHHHHHHHHHHSD
>4_  7
RTGFGFHGFF
>34SF
EDWRDFDEWDRESRFRFEFQQQ
>3_  7
RTGFGFHGF
>RER
DFFDGFHOEIWR

sunzhiguolu

抱歉...

tingshuibanxia

回复 3# jason680


    大神，这个问题怎么破？http://bbs.chinaunix.net/thread-4252601-1-1.html
用grep -x -B1后多出了第三行 “--”