6G文件的排序处理

huang6894

论坛中toniz 大大的关于perl大文件排序处理测试（与oracle外部表比较）
http://bbs.chinaunix.net/forum.p ... mp;fromuid=29097174
这个帖子提到对大文件分块后排序合并，如果我想处理两个大文件，这两个文件每四行为一部分的，然后按照每部分的第二行进行排序，并且合并，什么样的程序才能避免大文件导致的时间占用和内存问题呢？（数据库就不考虑了，要存那么多东西需要太大空间了）
——————————————
排序文件：
1.txt：
@12@vip.com#20120307/1
BCDBCDBD
+
AAAAAAAA
@18@vip.com#20120307/1
BBDACCDA
+
AAAAAAAA
...
2.txt
@14@vip.com#20120307/1
AABCCCCD
+
AAAAAAAA
@12@vip.com#20120307/1
BCACACAD
+
AAAAAAAA
...
————————————————
结果：
@14@vip.com#20120307/1
AABCCCCD
+
AAAAAAAA
@18@vip.com#20120307/1
BBDACCDA
+
AAAAAAAA
@12@vip.com#20120307/1
BCACACAD
+
AAAAAAAA
@18@vip.com#20120307/1
BBDACCDA
+
AAAAAAAA
。。。。。
----------------------------------
求个程序学习，谢谢！

gr33n

大大我想

1: 文件分块:
按照每部分的第二行, 第一个字符分块
BCDBCDBD -> B文件
CACACAD   -> C文件
AABCCCCD -> A文件
......

2: 排序
排序  A文件
排序  B文件
排序  C文件
......

xiumu2280

fq格式的  这样排序有什么意义嘛·····  这是想组装？

huang6894

回复 2# gr33n


    这真的是个好主意！！！厉害。。。

stanley_tam

2楼主意不错，要是a开头的也有几个G咋整。。。
建议把文件打散成小文件，到系统能一次读进去的大小，排序每一个文件。然后两两比较合并输出。
分享个合并的想法：{:3_193:}

1. sub merge_sorted_file {
   
2.     my ($file1, $file2, $output_file) = @_;
   
3.     my $fh1;
   
4.     my $fh2;
   
5.     my $output_fh;
   
6.     my $smallest_so_far = q{};
   
7.     use autodie qw{open close};
   
8. 
   
9.     open $fh1, '<', $file1;
   
10.     open $fh2, '<', $file2;
    
11. 
    
12.     open $output_fh, '>>', $output_file;
    
13. 
    
14.     my $line_f1 = <$fh1>;
    
15.     my $line_f2 = <$fh2>;
    
16. 
    
17.     while (1) {
    
18.         if ($line_f1 le $line_f2) {
    
19.             $smallest_so_far = $line_f1;
    
20.             $line_f1 = <$fh1> if not eof $fh1;
    
21.         }
    
22.         else {
    
23.             $smallest_so_far = $line_f2;
    
24.             $line_f2 = <$fh2> if not eof $fh2;
    
25.         }
    
26. 
    
27.         print {$output_fh} $smallest_so_far;
    
28.         last if eof $fh1 and eof $fh2;
    
29.     }
    
30. 
    
31.     close $fh1;
    
32.     close $fh2;
    
33.     close $output_fh;
    
34. }

复制代码

huang6894

回复 5# stanley_tam


    谢谢，谢谢。。。可是如果分割成很多个文件再两两比较是不是太耗时间了呀？有具体实现吗？

stanley_tam

不会吧，比较速度应该比较快吧（因为文件已经sort了），你看上面的函数都只读取了2行而已。

huang6894

回复 7# stanley_tam


    嗯，我是说那个分割成很多文件后排序那个过程。。。
   大大可以给我一个完整的程序么，谢谢谢谢~

104359176

不能拆分后排序，排序在一起比较才有意义，拆分成多个文件，比较的结果合并起来后还是乱的。

要么用二楼的办法，将排序的内容单独分离出来。标记上文件中的位置范围。排序后，按照文件范围顺序读取。

或者用快速排序算法。

huang6894

回复 9# 104359176


    首先要解决的问题是，文件很大，不分割的话肯定会被卡死的，第二是如果分割的话就需要考虑到时效的问题。。。