如何控制perl程序的内存？

DQP

上代码

DQP

回复 4# glauke


    那个$a看上去没有什么意义.  还不确定占用内存大是否和反复拼接字符串有关, 去掉试验下.

1. 
   
2. my @foo;
   
3. while(<>){
   
4.   chomp;
   
5.   push @foo, split //, $_;
   
6. }
   

复制代码

DQP

他又没说他想干嘛
至少省下个字符串。 而且一次对这么大个字符串做splite估计会生成很大的中间变量。

DQP

你要干啥？

DQP

没有。
如果你一定要把每个字符都放到数组中去。 那么没办法帮你。
你把你的需求说出来 也许能想出其他办法

DQP

回复 20# glauke


这样啊。  可以分成块做。 每次只读一定数量的字符（比如1M）然后对这块进行验证。
如果这是一个独立的需求 拿C写算了。 多不了几行。。

DQP

另外前面有位哥们说把换行符换成空，然后再读，我发现这样写不是一个字符一个字符的读，而是直接读到了文件的末尾，好奇怪啊，这是为什么呢？

当$/为undef或空的话就会把整个文件当作一行

DQP

回复 25# glauke


没问题的， 你要的不就是个验证么。 以每次处理5M 为例.

1. 
   
2. my $batch = 5 * 1024 * 1024;
   
3. my $start = 1;
   
4. my $end   = $start + $batch;
   
5. my @charsToBeChecked = ();
   
6. open my $code, "<b";
   
7. while (<>) {
   
8.     push @charsToBeChecked, split //, $_;
   
9.     if ( @charsToBeChecked > $batch ) {
   
10.         while (<$code>) {
    
11.             chomp;
    
12.             m/(\d+)\s*(\w)/;
    
13.             my $pos  = $1 - $start;
    
14.             my $char = $2;
    
15.             next unless ( $pos < $batch and $pos >= 0 );
    
16.             if ( $charsToBeChecked[$pos] ne $char ) {
    
17.                 printf STDERR "pos: %d, expected: %s actual: %s\n", $pos,
    
18.                     $char, $charsToBeChecked[$pos];
    
19.             }
    
20.         }
    
21.         $start            = $end + 1;
    
22.         $end              = $start + $end;
    
23.         @charsToBeChecked = ();
    
24.     }
    
25. }
    
26. while (<$code>) {
    
27.     chomp;
    
28.     m/(\d+)\s*(\w)/;
    
29.     my $pos  = $1 - $start;
    
30.     my $char = $2;
    
31.     next unless ( $pos < $batch and $pos >= 0 );
    
32.     if ( $charsToBeChecked[$pos] ne $char ) {
    
33.         printf STDERR "pos: %d, expected: %s actual: %s\n", $pos, $char,
    
34.             $charsToBeChecked[$pos];
    
35.     }
    
36. }
    

复制代码

还可以先对校验文件做下预处理， 把它分成许多小文件 这样可以避免反复读去校验文件

DQP

对了 没有问清楚
你的校验文件大么。 不大的话先把校验文件读到内存中排序。
然后再对原文件中的字符依次处理就成了 也不用放到数组里。

DQP

回复 39# glauke


可以先把校验文件分块 就不用扫描多次了。
排序后的校验文件当然是放数组里了。