求大神指导~~~一个小脚本 为什么运行的这么慢

albertkingking

写了一个很短的小脚本，处理序列比对结果用的，不知道为什么跑起来非常慢，输入的文本文件大概1G左右，跑了4个小时也没有出结果，求指导，万分感谢！！
脚本如下：
#!/usr/bin/perl -w
open IN, "<$ARGV[0]" or die "$!";
<IN>;
while(<IN>){
    chomp;
    @tmp=split(/\s+/,$_);
    $va=$tmp[4]."\t".$tmp[0]."\t".$tmp[2];
    if(!exists $hash{$tmp[3]}){
        $hash{$tmp[3]}=$va;
    }else{
        $hash{$tmp[3]}=$hash{$tmp[3]}."\n".$va;
    }
}

foreach $key(keys %hash){
    print ">$key\n$hash{$key}\n";
}

输入文件格式如下：
trans_id        trans_coord     target_seq      probe_id        probe_seq       num_mismatch    strand
ch139708    294     TTGCAGGAAAACAAGCTTAACACGCCCAC   n122612_h       TTGCAGGAAAACAAGCTTAAGACGCCCAC   1       +
ch139708    294     TTGCAGGAAAACAAGCTTAACACGCCCACT  n122613_h       TTGCAGGAAAACAAGCTTAACATGCCCACT  1       +
ch139708    294     TTGCAGGAAAACAAGCTTAACACGCCCAC   n122614_h       TTGCAGGAAAACAAGCTTAACATGCCCAC   1       +
ch139708    294     TTGCAGGAAAACAAGCTTAACACGCCCAC   n122615_h       TTGCAGGAAAACAAGCTTAACACGCCCAC   0       +
ch321020    295     TTGCGGGAAAACAAGCTTAACACGCCCAC   n122612_h       TTGCAGGAAAACAAGCTTAAGACGCCCAC   2       +
ch321020    295     TTGCGGGAAAACAAGCTTAACACGCCCACT  n122613_h       TTGCAGGAAAACAAGCTTAACATGCCCACT  2       +
ch321020    295     TTGCGGGAAAACAAGCTTAACACGCCCAC   n122614_h       TTGCAGGAAAACAAGCTTAACATGCCCAC   2       +
ch321020    295     TTGCGGGAAAACAAGCTTAACACGCCCAC   n122615_h       TTGCAGGAAAACAAGCTTAACACGCCCAC   1       +
ch1324427    295     TTGCAGGAAAACAAGCTTAACACGCCCAC   n122612_h       TTGCAGGAAAACAAGCTTAAGACGCCCAC   1       +
ch1324427    295     TTGCAGGAAAACAAGCTTAACACGCCCACT  n122613_h       TTGCAGGAAAACAAGCTTAACATGCCCACT  1       +
ch1324427    295     TTGCAGGAAAACAAGCTTAACACGCCCAC   n122614_h       TTGCAGGAAAACAAGCTTAACATGCCCAC   1       +
ch1324427    295     TTGCAGGAAAACAAGCTTAACACGCCCAC   n122615_h       TTGCAGGAAAACAAGCTTAACACGCCCAC   0       +
ch665615    294     TTGCAGGAAAACAAGCTTAACACGCCCAC   n122612_h       TTGCAGGAAAACAAGCTTAAGACGCCCAC   1       +
ch665615    294     TTGCAGGAAAACAAGCTTAACACGCCCACT  n122613_h       TTGCAGGAAAACAAGCTTAACATGCCCACT  1       +
ch665615    294     TTGCAGGAAAACAAGCTTAACACGCCCAC   n122614_h       TTGCAGGAAAACAAGCTTAACATGCCCAC   1       +
ch665615    294     TTGCAGGAAAACAAGCTTAACACGCCCAC   n122615_h       TTGCAGGAAAACAAGCTTAACACGCCCAC   0       +
ch669024    294     TTGCAGGAAAACAAGCTTAACACGCCCAC   n122612_h       TTGCAGGAAAACAAGCTTAAGACGCCCAC   1       +
ch669024    294     TTGCAGGAAAACAAGCTTAACACGCCCACT  n122613_h       TTGCAGGAAAACAAGCTTAACATGCCCACT  1       +
ch669024    294     TTGCAGGAAAACAAGCTTAACACGCCCAC   n122614_h       TTGCAGGAAAACAAGCTTAACATGCCCAC   1       +
ch669024    294     TTGCAGGAAAACAAGCTTAACACGCCCAC   n122615_h       TTGCAGGAAAACAAGCTTAACACGCCCAC   0       +
ch672430    294     TTGCAGGAAAACAAGCTTAACACGCCCAC   n122612_h       TTGCAGGAAAACAAGCTTAAGACGCCCAC   1       +
ch672430    294     TTGCAGGAAAACAAGCTTAACACGCCCACT  n122613_h       TTGCAGGAAAACAAGCTTAACATGCCCACT  1       +
ch672430    294     TTGCAGGAAAACAAGCTTAACACGCCCAC   n122614_h       TTGCAGGAAAACAAGCTTAACATGCCCAC   1       +
ch672430    294     TTGCAGGAAAACAAGCTTAACACGCCCAC   n122615_h       TTGCAGGAAAACAAGCTTAACACGCCCAC   0       +

q1208c

如果真用你这个脚本, 并且数据有4G的话, 你可能需要32G或更多的内存才能运行.
我猜你的机器正在拼命的 swap 吧?

vinian

这个   $hash{$tmp[3]}.   会不会太长
然后打印出来很慢

用 哈希数组 试试

albertkingking

机器内存有48G呢，但还是很慢，咋样能快些啊，我不懂为啥4G就得32G内存，我不是学计算机的，而且还是菜鸟，您能不能给我大概解释下，万分谢谢！回复 2# q1208c


   

albertkingking

谢谢！ 我看看咋写哈，还不会写数组的hash 回复 3# vinian


   

vinian

回复 5# albertkingking

1. #!/usr/bin/perl
   
2. 
   
3. use strict;
   
4. use warnings;
   
5. 
   
6. open my $fh, "<", "$ARGV[0]" or die "$!";
   
7. <$fh>;
   
8. my %hash;
   
9. 
   
10. while(<$fh>){
    
11.     chomp;
    
12.     my @tmp = split;
    
13.     my $va = $tmp[4]."\t".$tmp[0]."\t".$tmp[2];
    
14.     push @{$hash{$tmp[3]}}, $va;
    
15. }
    
16. 
    
17. foreach my $key (keys %hash){
    
18.     print ">$key\n";
    
19.     for my $item ( @{$hash{$key}} ) {
    
20.         print "$item\n";
    
21.     }
    
22. }
    

复制代码

albertkingking

这么快就写好了，呃，太感谢了，我好好学习学习{:3_193:} 回复 6# vinian


   

albertkingking

还得再次感谢下，测试了一下，果然一会就出结果了，受教了，太谢谢了{:3_193:} 回复 6# vinian


   

pitonas

{:2_172:}

1. #!/usr/bin/perl
   
2. my %hash; <>;
   
3. 
   
4. while (<>) {
   
5.     my @tmp = split /\s+/, $_, 6;
   
6.     push @{ $hash{ $tmp[3] } }, "$tmp[4]\t$tmp[0]\t$tmp[2]\n";
   
7. 
   
8. }
   
9. 
   
10. foreach $key ( keys %hash ) {
    
11.     print ">$key\n", @{ $hash{$key} };
    
12. }

复制代码

q1208c

回复 4# albertkingking

首先, 字符串方式的存储就会放大, 所以, 内存的总量一定大于4G, 然后, hash是每次申请的时候会double的, 所以, 会翻倍更快的.

所以, 你这4G的数据全导完, 估计得20G以上了. 保守点, 32G内存是靠谱的 .