数亿行数据随机抽取的效率问题

xxhacker

我有一个用户列表，一个uid为一行，总共有数亿行之多，自己参考网上写了一个代码如下，如果行数小于几百万行的话，程序执行起来没有什么问题，但是一旦到了上亿行，这程序就特别的吃系统资源，主要是把读入的内容全部放到数组里去了，大家有没有什么更好的办法了？

1. #! /usr/bin/perl -w
   
2. use strict;
   
3. use Getopt::Long;
   
4. 
   
5. my $number;
   
6. my %hash;
   
7. 
   
8. GetOptions("number=n" => \$number);
   
9. die usage() unless $number;
   
10. 
    
11. my @array = <>;
    
12. 
    
13. while ((keys %hash < $number)){
    
14.     $hash{int(rand($#array))} = 1;
    
15. }
    
16. open FH,"> $number.txt" or die "Can't Write File:$!\n";
    
17. print FH $array[$_] for keys %hash;
    
18. close FH;
    
19. 
    
20. 
    
21. sub usage {
    
22.     my $PROG = $0;
    
23.     print <<EOF;
    
24. USAGE
    
25.     cat xxx|$PROG OPTIONS
    
26. OPTIONS:
    
27.     --number|n  number lines
    
28. EOF
    
29. }

复制代码

zhlong8

每读一行都 rand 下看要还是不要（比如100万个抽100个，那就是 rand() < 100/100万就取），直到抽满为止，如果读完了还不够就拿最后几个顶替。

xxhacker

回复 2# zhlong8
版主说的也是一个思路，关键一点是我不知道这个文件有多少行数据，就意味着rand()<$NUM这个值不定，当然可以先用cat xxx|wc -l来取得行数，不过这样搞就太麻烦了


   

zhlong8

xxhacker 发表于 2012-02-13 21:05
回复 2# zhlong8
版主说的也是一个思路，关键一点是我不知道这个文件有多少行数据，就意味着rand()

按文件大小估算下总没问题吧，你的数据不是很规律吗

RE_HASH

If you data is too big to fit in memory you can search for QDBM or Tokyo cabinet such that you can save the data in a hash on disk and then tie it in memory.

twilightagain

使用标准模块Tie::File。

这个模块不会把数据一次读入内存，就是为了楼主这类问题设计的

Tie::File represents a regular text file as a Perl array. Each element in the array corresponds to a record in the file. The first line of the file is element 0 of the array; the second line is element 1, and so on.
The file is not loaded into memory, so this will work even for gigantic files.

以上摘自文档的description部分

xxhacker

谢谢6楼推荐的模块，我刚才用这个模块跑了一下，确实不怎么占资源，不过跑起来就比较慢了