大数据去重复,求速度

gongyonghui2

数据有1亿5千万行3列
每行均是数字，形如


数据重复是指：任意两行，每一行的三个数排序后，这两行一样，那么就是重复。
求perl能达到去重复效率最高的方法。
数据链接:http://pan.baidu.com/s/1dDekRLJ

yinyuemi

回复 1# gongyonghui2

没测试～
    perl -nale 'print if !h{(join "@",sort @F)}++' file

q1208c

perl怕是不行了.
直接用 sort 吧. 或者用 sort的算法.

用楼上的方法, 估计 OOM的可能性大.

stanley_tam

要是偶的话，把文件切成小块，用merge sort排序，然后去重就简单了。
不过你这要的是速度，一起坐等高手咯{:3_193:}

MMMIX

回复 1# gongyonghui2


    你现在效率不高的方法是什么？处理该文件需要多少时间/内存？

MMMIX

q1208c 发表于 2014-05-22 08:33
perl怕是不行了.

问题不大，除了输入文件重复行很少可能导致内存溢出。

gongyonghui2

回复 5# MMMIX


    用的是sort {$a<=>$b} 后join成字串，然后再用hash去重复，但是sort的时间跑了大概20分钟还没有sort完，内存不够了。

MMMIX

回复 7# gongyonghui2


    完整的代码贴上来看看。另外，你机器有多少内存？

2楼的代码你测试过么？什么结果？

gongyonghui2

回复 8# MMMIX

1. open IN,"tt1.txt";
   
2. open OU,">","result.txt";
   
3. my %hash=();
   
4. 
   
5. while(<IN>){
   
6.         chomp;
   
7.         my $tmp=join "\t",sort {$a<=>$b} split /\t/;       
   
8.         $hash{$tmp}++;
   
9. }
   
10. print "sortDone\n";
    
11. while(my ($cc)=each %hash){
    
12.         print OUT $cc,"\n";       
    
13. }

复制代码

机器6G内存,2楼代码原理一样，也是用hash去重，命令行运行出错

timespace

1. >>> 150*1000*1000*12/(1024*1024)
   
2. 1716.61376953125

复制代码

每个数字用32位为整数存储，内存就有1700MB，加上内部数据结构，估计物理内存hold不住了，一旦用上交换，那就遥遥无期了。这个例子更适合shell的“sort -n -k...”，自动处理外部排序。