split内存占用太大怎么办

raoweijian

现在有图1所示文件，包含了数百万个位点的信息，相互之间用空格分开。
现在需要找出指定开始和终止位置之间的信息，统计有多少是大于3的。
比如需要统计第3000-5000个位点内，有多少个位点的数字是大于3.
如果用split，内存会飙到十多G，不适用。substr也不好用，因为如果数字为两位数或者三位数，则会占用多个字符位置，没办法统计。
请问应该怎么解决这个问题？

rubyish

example:

1. #!/usr/bin/perl
   
2. 
   
3. my $data = '0 0 0 1 2 3 4 5 6 7 8 1 1 1 11 15 16 0 0 0 0 12';
   
4. my ( $begin, $end, $num, $count ) = ( 5, 15, 3, 0 );
   
5. my ( $L1, $L2 ) = ( $begin - 1, $end - $begin + 1 );
   
6. my ($wanted) = $data =~ /^(?:\S+\s+){$L1}((?:\S+\s+){$L2})/;
   
7. 
   
8. $& > $num and $count++ while $wanted =~ /\S+/g;
   
9. print "P$begin ~ P$end [ data > $num ] count = $count\n";

复制代码

q1208c

回复 1# raoweijian

不是太清楚楼主的数据是来自文件还是哪里. 另外, 数据的总量有多大.

如果数据能读入内存(全部或一行), 可以使用split, 不过, 要加个参数, 类似

1. 
   
2. my $others = $data;
   
3. my ($first, $others) = split(/\s+/, $others, 2);
   

复制代码

这样, 你的数据会分成两部分, 前一部分只有一个数字, 所有的其它的数据都在另一部分, 这样, 占用的内存应该不是太大. 然后, 继续split下去就行了. 每次只处理一个数据.
   

jason680

回复 1# raoweijian

How about this example ...
Note: you can control them by yourself

$ cat get_long_string.pl
#!/usr/bin/perl
use strict;
use warnings;

$_="1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80";

my $sCnt = 1;
my $sOut = "";
while(m/((?:\S+\s+){10})/g){ # 10 items for one times
  if(31 <= $sCnt && $sCnt <= 50){
    $sOut .= $1
  }
  $sCnt +=10;   # 10 items for one times
}
print "Out=$sOut\n";

$ perl get_long_string.pl
Out=31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50
   

kk861123

try~ set $/:

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. my $str = join(' ' => 1..22);
   
5. 
   
6. print $str,"\n";
   
7. {
   
8.   open my $fh, '<', \$str or die $!;
   
9.   local $/=' ';
   
10.   while ( <$fh> ) {
    
11.     print "$_\n";
    
12.   }
    
13. }
    

复制代码

afukada

1. use strict;
   
2. use warnings;
   
3. 
   
4. $_="1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80";
   
5. 
   
6. my ($start,$end,$dataStart,$i)=(31,50,0,0);
   
7. my @myList;
   
8. 
   
9. while(/\s+/g)
   
10. {
    
11.         $i++;
    
12.         push(@myList,substr($_,$dataStart,pos($_)-$dataStart-1)) if($i>=$start&&$i<=$end);
    
13.         $dataStart=pos($_);
    
14. }
    
15. 
    
16. print join(",",@myList),"\n";

复制代码

這個如何

pitonas

叹为观止{:2_178:}

raoweijian

看来还是我对正则匹配了解得不够。这个数据一共有200M，大约3000W个位点，3楼说的方法每次处理一个似乎并不适用。
二楼和四楼都用到了/^(?:\S+\s+){$L1}((?:\S+\s+){$L2})/类似这样的匹配，不过我不太看得懂。
五楼把默认换行符改成了空格，应该是可行的，不过我还没具体试过。
六楼的方法之前没用到过，代码测试结果很好，就是while(/\s+/g)，这种用法具体表示什么不是很明白。

后来我自己想了个办法，就是每次只读100个数字，然后判断是否在区间内，反复循环，效率也还可以接受。

rubyish

kk861123 发表于 2013-11-15 07:30
try~ set $/:

1. local $/=' ';

复制代码

学习了！这个速度应该比较快。