perl 读数据库内存变大的问题

jakery6a

我采用的以下的方法去读取数据库，当sql语句中的记录数较多时，内存变得越来越大，容易溢出，有什么其他的解决办法吗？
my $dbh = DBI->connect("dbidriver:dbname=$database;host=$host;port=$port", $user, $passwd,
           { RaiseError => 1, AutoCommit => 0 }) or die $DBI::errstr;
   my $sth = $dbh->prepare("
      SELECT DISTINCT T1.CAL_MON_ID................................
）
   $sth->execute;
   while (@recs=$sth->fetchrow_array) {
                          }

zhlong8

while (@recs=$sth->fetchrow_array) {
这一行会读出所有的结果

wxlfh

zhlong8版主

1. while (my @recs = $sth->fetchrow_array) { }

复制代码

并不会导致读取全部的行，只是取得当前一行而已。我估计是楼主取得的行太多了，而且他把全部行都放在内存中，才导致了内存溢出。我觉得应该把记录放在磁盘文件中，然后再处理。

zhlong8

wxlfh 发表于 2012-02-20 15:44
zhlong8版主并不会导致读取全部的行，只是取得当前一行而已。我估计是楼主取得的行太多了，而且他把全部行都 ...

你说的对。

数据量非常大的和普通的应用写法往往是不一样的，时间空间方面需要调和的地方很多。你看下是否保存了不必要的值

bikong0411

只取需要的值

jakery6a

wxlfh 发表于 2012-02-20 15:44
zhlong8版主并不会导致读取全部的行，只是取得当前一行而已。我估计是楼主取得的行太多了，而且他把全部行都 ...

的确，select语句出来的记录数是比较多，当execute的时候，所有数据全部进了内存，我应该怎么处理呢能控制内存，不让它溢出

wxlfh

jakery6a 发表于 2012-02-21 09:31
的确，select语句出来的记录数是比较多，当execute的时候，所有数据全部进了内存，我应该怎么处理呢能控制 ...

你把取出来的数据按照一定可以分割的格式存入磁盘文件中即可。
可以分割的格式，譬如每个字段间以制表符分开，当然你得保证字段的值不包含制表符。

1. open my $fh,">","yourfile.txt";
   
2. while (my @recs=$sth->fetchrow_array) {
   
3.     my $str = join "\t", @recs;
   
4.     print $fh "$str\n";
   
5. }
   
6. close $fh;
   
7. 
   
8. open $fh,"<","yourfile.txt";
   
9. while (<$fh>) {
   
10.     chomp;
    
11.     my @lines = split /\t/;
    
12.     do_your_job;
    
13.     .
    
14.     .
    
15.     .
    
16. }
    
17. close $fh;

复制代码