关于perl内存使用过大,导致crash的问题.

dsadjkasd

读取文件后,存成hash,然后内存量看到随着存储,一直达到800MB左右的时候,perl就退出了.是不是perl对内存使用量有限制?  现在没办法,只能降低数据量,凑合..

兰花仙子

这个与perl无关把。
内存太小，可以用Tie::Hash或DB_File之类把hash绑定到文件。

dsadjkasd

回复 2# 兰花仙子
我内存有8个G阿...

   

cdtits

呵呵，那个版本的？是标准版，还是 active?

longbow0

是什么操作系统？如果实在不行，可以考虑用数据库。

zhlong8

敢把代码贴出来吗？你自己也看得出你描述这现象不正常就那么自信是 Perl 的问题不是自己的？

zhuyubei

内存不是限制。我们的数据出现过用了十几个G还在正常跑的。我觉得你可以检查下，是不是有什么循环引用的问题。

dsadjkasd

回复 6# zhlong8

#!/usr/bin/perl
@file = glob "/cygdrive/e/merge_sinadata/stk_daily_*.txt";
foreach my $fl (@file){
        print "read $fl\n";
        open file,"$fl";
        foreach(<file>){
                $_ =~ /^(\d{6})\t(\d{8})\t/;
                            push(@a,$_);
                # $stk{$1}{$2} = $_;
                }
        close file;
        }
hash直接跳出了.
试了数组,报错报Out of memory during "large" request for 33558528 bytes, total sbrk() is 393666560 bytes at mem_test.pl line 9,<file> line 404302.
版主请解惑.
忘了说了我是在cygwin环境下运行perl的,机器是64位的win7.
然后源文件大约有700万行,大小在320mb

Perl_Er

回复 8# dsadjkasd

1. open(DATA, "<file.txt");
   
2. 
   
3. while(<DATA>)
   
4. {
   
5.    print "$_";
   
6. }
   

复制代码

dsadjkasd

回复 9# Perl_Er


非常感谢Perl_Er,问题解决了,但我那个是什么原因造成的?数据量不大的时候是能正常运行的...