如何控制perl程序的内存？

DQP

我测了 真的这么大。。。。
也许从思路上就错了 根本不该那么做的。

guap514

我测了 真的这么大。。。。
也许从思路上就错了 根本不该那么做的。
DQP 发表于 2010-05-14 15:03

    O_o
不会是也像lz那样把60M的文件 都分割成数组吧

toniz

回复 50# guap514


    好吧  楼主很懒  我只能做苦力了。

用这个代码创建一个校验文件。命令行是：perl b.pl t.t  >cd.log
t.t是：-rw-rw-r-- 1 etl  etl     320843 May 14 14:46 t.t

1. $/=\1;
   
2. my $i=1;
   
3. while(<>){
   
4. print $_."   ".$i++ ."\n";
   
5. }

复制代码

运行之后得到一个校验文件:cd.log。  这是我懒得去弄，就直接全字符检验了。这个检验文件够大了吧，。

好吧，下面的代码开始测试：

1. use Time::HiRes qw(gettimeofday);
   
2. my ($start_sec, $start_usec) = gettimeofday;
   
3. 
   
4. use Data::Dumper;
   
5. $o=$/;
   
6. $/=\1;
   
7. @a=<>;
   
8. open F,"cd.log" or die "asdfasf";
   
9. $/=$o;
   
10. while(<F>){
    
11.                 @b=split /\s+/,$_;
    
12.                 if($a[$b[1]-1] != $b[0] ){
    
13.                         print "$b[0]  $b[1]  not eq \n";
    
14.                 }       
    
15. }
    
16. 
    
17. my ($end_sec, $end_usec) = gettimeofday;
    
18. my $time_used = ($end_sec - $start_sec) + ($end_usec - $start_usec)/1000000;
    
19. printf("time used  : %.10f\n", $time_used);

复制代码

这个是测试楼组的用数组下标检索判断的。消耗时间如下：

1. [etl@dmtest bidm]$ perl b.pl t.t
   
2. time used  : 1.1311360000

复制代码

之后是substr的。

1. use Time::HiRes qw(gettimeofday);
   
2. my ($start_sec, $start_usec) = gettimeofday;
   
3. $o=$/;
   
4. $/='';
   
5. $a=<>;
   
6. open F,"cd.log" or die "asdfasf";
   
7. $/=$o;
   
8. while(<F>){
   
9.         @b=split /\s+/,$_;
   
10.         if(substr($a,$b[1]-1,1) != $b[0] ){
    
11.                                 print "$b[0]  $b[1]  ".substr($a,$b[1],1)."  not eq \n";
    
12.         }
    
13. }
    
14. 
    
15. my ($end_sec, $end_usec) = gettimeofday;
    
16. my $time_used = ($end_sec - $start_sec) + ($end_usec - $start_usec)/1000000;
    
17. printf("time used  : %.10f\n", $time_used);

复制代码

消耗时间是：

1. [etl@dmtest bidm]$ perl b.pl t.t
   
2. time used  : 0.8436160000

复制代码

所以说，是选错的方法，不是perl不行。。。。

DQP

我还真这么干了。。。 刚开始是不知道他想要什么
p.s.我的100M 的. 增长到4G 时就out of memory了。。。

glauke

回复 53# toniz


好人啊！感激涕零！太谢谢啦！

你的热心鼓舞了我又做了测试，的确是substr很快，但我想主要是快在不用split存数组那儿吧，至于查找的速度按下标还是substr是应该差不多的。

另外你的程序有几点还有待优化啊：

你做的存数组的那个测试，直接@a = <>会比while(<>){push @a, $_;}耗的内存要大很多。

至于substr那个测试，应该加上一句s/\n//g把\n去掉，不然结果会不对的。

总之谢谢大侠的热心帮助拉！

rick.zhao

学习了

deathcult

你可以每读一段，就分割、处理、放入内存。 这样效率比较高。

用ps u -C <test.pl> 来监控你的程序内存使用情况。

toniz

回复 55# glauke


    我就随手写的测试脚本，你居然还挑我错误 呜。。。。

不过想想还是解释下哈：

@a = <>我用这个是为了保证测试代码的结构和使用的方法一致。因为你注意没有？substr测试的时候，是把代码整个读入内存的。所以我需要在测试你那种数组下标的方法的时候，也一次读入内存。这样才公平~~

至于换行，呵呵，我的两个脚本把换行当一字符的，所以结果是不会不正确滴。。。当然，如果你自己弄的测试脚本一个算了，一个不算，那就糟糕~~


至于效率慢是慢在分配内存还是慢在下标检索，这个也是可以测试一下的~~

jjqing

回复  glauke


     我就随手写的测试脚本，你居然还挑我错误 呜。。。。

不过想想还是解释下 ...
toniz 发表于 2010-05-17 09:23

    toniz令人敬佩！