perl out of memory

qfmeal

脚本需要读取几个较大的文件，有1000多万行，100多兆。

把这个文件加载到内存时出错。out of memory。

但是事实上这台机子内存有120G，

机子是 HP-UX 。 perl -v 5.8.8 不知道是不是perl 对内存有限制，还是系统对分配的内存有限制？

flw

120G 是整个系统的内存。
在 Linux 上，单个进程的最大内存限制是 3G。

试着优化一下你的程序吧。
解决同一个问题有很多种方式，但通常都没必要挑战这个极限。

Perl_Er

你是怎么读的？把代码贴出来啊。
120G内存，难道是HP的superdome

[ 本帖最后由 Perl_Er 于 2009-7-14 13:15 编辑 ]

DQP

100多兆不算大 如果out of memory了 那你的程序肯定有别的问题.

MMMIX

原帖由 flw 于 2009-7-14 13:12 发表
120G 是整个系统的内存。
在 Linux 上，单个进程的最大内存限制是 3G。

楼主用的应该不是 Linux.

qfmeal

机子是惠普unix,64位机
perl版本是5.8.8
120G内存，20、30个CPU

之所以把那么大的文件读进内存，是因为，脚本里面要不断的在那个文件里面搜索数据.
我的代码其中读取文件的部分(我的代码比较烂...)：

# 加载account数据 my $hash_account            = &get_account_hash(); sub get_account_hash { &nbsp;&nbsp;&nbsp;&nbsp;my $file = "$ENV{OUT}/ocs_account.tmp"; &nbsp;&nbsp;&nbsp;&nbsp;open FH,$file or die "open $file error!"; &nbsp;&nbsp;&nbsp;&nbsp;my %hash; &nbsp;&nbsp;&nbsp;&nbsp;while(<FH>) &nbsp;&nbsp;&nbsp;&nbsp;{ &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;chomp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;my ($acc_id,$cust_id,@left) = split /\|/; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;$hash{$cust_id} = [$acc_id,$cust_id,@left]; &nbsp;&nbsp;&nbsp;&nbsp;} &nbsp;&nbsp;&nbsp;&nbsp;close FH; &nbsp;&nbsp;&nbsp;&nbsp;return \%hash;&nbsp;&nbsp;&nbsp;&nbsp; }

orangetouch

>>> 1000多万行，100多兆
你一行才10几个字节？定长？

lokchungk

請問這樣和把整個檔案讀到記憶體有什麼分別?

Perl_Er

得到这些数据后，你想要做的是什么了?

Perl小手

只有100多M的文件应该不会out of memory啊. 除非你的server上还有别的啥东西在抢占资源。