【求助】关于一个out of memory的问题

飞越地平线

32G的内存，在运行一个perl脚本时提示out of memory！
以下是程序的一部分，有人知道么？

1. #@{$fh{$key}}存储文件名为$key的文件内容;
   
2. #所有的key文件读完之后内存使用在1.5G左右；
   
3. #以下是程序的一部分；
   
4. for my $in(@file){                            #   9个输入文件@file大小总共在20M左右；
   
5.         open IN,"<","$in" or die "Can't open $in!\n";
   
6.         my @array;
   
7.         map {chomp;next if(/^\s*$/);push @array,[split('\t',$_)]} <IN>;            
   
8.         close IN;
   
9.         open OUT,">","$in.out";
   
10.         for my $gene(@array){
    
11.                 my $num=0;
    
12.                 foreach my $line(@{$fh{$gene->[0]}}){
    
13.                         last if ($gene->[1] <= $line);
    
14.                         $num++ if ($line > $gene->[1]);     
    
15.                 }
    
16.                 print OUT "$num\n";
    
17.         }
    
18.         close OUT;
    
19. }
    

复制代码

rubyish

在第7行有一个错误，但问题不是在这里~

py

map不应该这么用。你该用foreach/for循环

你把代码写的可读性高一些，错误就很容易检查出来了

大米白面

边读边写就没问题了。

飞越地平线

回复 4# 大米白面
边读边写太慢了，所以我想一次性全读进去，感觉不是内存的问题，因为8G和32G的电脑都卡在差不多的地方就停了。


   

飞越地平线

回复 3# py
@rubyish

是什么错误？语法没有提示错误，我以为是正常的。。
我用8G的和32G的电脑跑了下，都差不多在生成1.3M大小的文件的时候停住了。不知道是什么原因？
本人菜鸟，才刚学编程，还没有遇到过out of memory的问题。。求大神指点指点。。

zhlong8

map 里面那个 next 作用的是外层的 for my $in (@file) { 循环

错误有语法错误这个编译器可以帮你，但还有逻辑错误

飞越地平线

回复 7# zhlong8
以前也犯过这个错误。。，这次又犯了一次！！

   

飞越地平线

回复 2# rubyish

1. #@{$fh{$key}}存储文件名为$key的文件内容;
   
2. #所有的key文件读完之后内存使用在1.5G左右；
   
3. #以下是程序的一部分；
   
4. my @file = glob "$dir\\*bed";
   
5. my @bed = glob "$dir3\\*";
   
6. 
   
7. for (@bed){
   
8.         my $name = $_;
   
9.         $name =~ s/.*bed_(.+)_(.+)\.bed/$1$2/;
   
10.         $fdir{$name} = $_;
    
11. }
    
12. while(my ($key, $value)= each %fdir){
    
13.         open BED,"<","$fdir{$key}" or die "Can't open file: $key!\n";
    
14.         @{$fh{$key}} = map {
    
15.                                                 chomp;
    
16.                                                 (split '\t')[2];
    
17.                                                 } <BED>;
    
18.         close BED;
    
19. }
    
20. 
    
21. print "Begin\n";
    
22. for my $in(@file){                            #   9个输入文件@file大小总共在20M左右；
    
23.         open IN,"<","$in" or die "Can't open $in!\n";
    
24.         my @array;
    
25.                 while(<IN>){
    
26.                         chomp;
    
27.                         next if(/^\s*$/);
    
28.                         push @array,[split('\t',$_)];
    
29.                 }
    
30.         close IN;
    
31.         open OUT,">","$in.out";
    
32.         for my $gene(@array){
    
33.                 my $num=0;
    
34.                 foreach my $line(@{$fh{$gene->[0]}}){               #平均有1800000行;
    
35.                         last if ($gene->[1] <= $line);
    
36.                         $num++ if ($line > $gene->[1]);     
    
37.                 }
    
38.                 print OUT "$num\n";
    
39.         }
    
40.         close OUT;
    
41. }

复制代码

大侠们，代码差不多就是这样了；
但是还是有问题，我用的是win7，内存使用在4.5G的时候就提示out of memory了。电脑内存有8G

   

rubyish

哦。水平有限, 看不出生成 out of memory 的问题。
你贴文件内容,说你的意图, 帮你改写也许更快解决问题。