大数据去重复,求速度

不能超过15字

sort -u 不行嘛

timespace

当标准方法不能一步到位时，也可以考虑分而治之。具体如何划分取决于第一列数值的分布，比如以取模（第一列数值 % 10）来划为10个文件，每个文件的去重相互独立独立，最后合并。这个文件大小对于磁盘连续IO是没有压力的，但可以极大缓解内存的不足。

MMMIX

回复 9# gongyonghui2


    照理说，6G内存的机器处理这个数据文件不成问题。你用的是 64-bit 操作系统吧？

MMMIX

回复 12# timespace


    另外一个方法就是直接弄个数据库，把数据导入数据库，再导出就行了。

timespace

回复 14# MMMIX
惭愧，很久不用perl，理解错需求了。
   

RE_HASH

试试先用perl排序每行的三个数，再sort -u

timespace

这帖子没结果了。。。
好奇之下，下了LZ的数据文件，解压2.5GB，还好电脑内存16GB，按照前面你们的perl代码执行前50M行（总数的1/3），物理内存占用超过6GB，意味着全部数据16GB内存都可能hold不住：

1. $ head -50000000 tt1.txt | ./reduce.pl
   
2.   PID  %CPU %MEM    RSS NSWAP ELAPSED COMM
   
3.   479  99.1 40.0 6711876     -   01:34 /usr/bin/perl

复制代码

其实看这个50M，只要内存够，执行时间1分34秒，还能等。

把原文件按照每行排序后的最大数字，模11，分为11个文件，每个文件行数分布比较均匀：

1. #!/usr/bin/perl
   
2. use strict;
   
3. use warnings;
   
4. 
   
5. my $modulo = 11;
   
6. my @files = ();
   
7. 
   
8. for (0 .. $modulo-1) {
   
9.     open $files[$_], ">", "map_$_.txt"
   
10.         or die "could not open map_$_.txt: $!";
    
11. }
    
12. 
    
13. while (<>) {
    
14.     chomp;
    
15.     my ($f1, $f2, $f3) = sort {$a <=> $b} split /\t/;
    
16.     print {$files[$f3 % $modulo]} "$f1\t$f2\t$f3\n";
    
17. }

复制代码

1. 13282037 13358435 13856488 13894659 13915435 14064033 14125693 14858455 14869804 15549080 16652976

复制代码

最后对每个文件再运行你们的perl代码，生成11个新的文件就是最终结果，wc统计了下，重复行不到1%，印证了开始的想法，16GB内存都搞不定，必须切割小文件处理。

gongyonghui2

回复 17# timespace


    非常感谢

gongyonghui2

谢谢大家，此贴收尾

MMMIX

回复 17# timespace


    不科学呀，这内存占用的也太多了点。