大数据去重复,求速度

gongyonghui2

数据有1亿5千万行3列
每行均是数字，形如


数据重复是指：任意两行，每一行的三个数排序后，这两行一样，那么就是重复。
求perl能达到去重复效率最高的方法。
数据链接:http://pan.baidu.com/s/1dDekRLJ

gongyonghui2

回复 5# MMMIX


    用的是sort {$a<=>$b} 后join成字串，然后再用hash去重复，但是sort的时间跑了大概20分钟还没有sort完，内存不够了。

gongyonghui2

回复 8# MMMIX

1. open IN,"tt1.txt";
   
2. open OU,">","result.txt";
   
3. my %hash=();
   
4. 
   
5. while(<IN>){
   
6.         chomp;
   
7.         my $tmp=join "\t",sort {$a<=>$b} split /\t/;       
   
8.         $hash{$tmp}++;
   
9. }
   
10. print "sortDone\n";
    
11. while(my ($cc)=each %hash){
    
12.         print OUT $cc,"\n";       
    
13. }

复制代码

机器6G内存,2楼代码原理一样，也是用hash去重，命令行运行出错

gongyonghui2

回复 17# timespace


    非常感谢

gongyonghui2

谢谢大家，此贴收尾