6G文件的排序处理

huang6894

论坛中toniz 大大的关于perl大文件排序处理测试（与oracle外部表比较）
http://bbs.chinaunix.net/forum.p ... mp;fromuid=29097174
这个帖子提到对大文件分块后排序合并，如果我想处理两个大文件，这两个文件每四行为一部分的，然后按照每部分的第二行进行排序，并且合并，什么样的程序才能避免大文件导致的时间占用和内存问题呢？（数据库就不考虑了，要存那么多东西需要太大空间了）
——————————————
排序文件：
1.txt：
@12@vip.com#20120307/1
BCDBCDBD
+
AAAAAAAA
@18@vip.com#20120307/1
BBDACCDA
+
AAAAAAAA
...
2.txt
@14@vip.com#20120307/1
AABCCCCD
+
AAAAAAAA
@12@vip.com#20120307/1
BCACACAD
+
AAAAAAAA
...
————————————————
结果：
@14@vip.com#20120307/1
AABCCCCD
+
AAAAAAAA
@18@vip.com#20120307/1
BBDACCDA
+
AAAAAAAA
@12@vip.com#20120307/1
BCACACAD
+
AAAAAAAA
@18@vip.com#20120307/1
BBDACCDA
+
AAAAAAAA
。。。。。
----------------------------------
求个程序学习，谢谢！

huang6894

回复 18# rubyish


    我喜欢这个写法。。。。这里高手太多了

huang6894

回复 17# 104359176


    太感谢了。。。。

huang6894

回复 16# stanley_tam


    对不起，对不起。。。伸手党可耻了~谢谢大大

rubyish

大牛，试试一下:

1. #!/usr/bin/perl
   
2. my $head = 5;  # 或多或少
   
3. my %file;
   
4. @ARGV = qw/test.txt/;
   
5. 
   
6. while (<>) {
   
7.     my $line2 = <>;
   
8.     my $key = substr $line2, 0, $head;
   
9.     unless ( $file{$key} ) {
   
10.         open my $f, '>', "/tmp/$key";
    
11.         $file{$key} = $f;
    
12.     }
    
13.     print { $file{$key} } $_, $line2, <>.<>;
    
14. }
    
15. 
    
16. close $file{$_} for keys %file;
    
17. open my $result, '>', 'result';
    
18. 
    
19. for my $file ( sort keys %file ) {
    
20.     @ARGV = "/tmp/$file";
    
21.     my @group;
    
22.     push @group, [ $_, ~~<>, <>.<> ] while <>;
    
23.     print $result @$_ for sort { $a->[1] cmp $b->[1] } @group;
    
24.     unlink "/tmp/$file";
    
25. }
    
26. 
    
27. print scalar keys %file, ' files: BYE!';

复制代码

104359176

我做了一个函数，先将需要排序的内容提取出来，放在一行上，这样就可以用 sort 工具来排序了。
然后用另外一个函数，将这个排序后的索引文件，重新生成你要的文件。

1. #!perl
   
2. 
   
3. use 5.010;
   
4. 
   
5. # 根据索引文件生成结果
   
6. sub create_file {
   
7.     my ($input_file, $output_file) = @_;
   
8.     open(my $input_fh, '<', $input_file)  or die $!;
   
9.     open(my $output_fh, '>', $output_file) or die $!;
   
10.     while (my $line = <$input_fh>) {
    
11.         chomp $line;
    
12.         my ($index, $first_line) = split /\s+/, $line;
    
13.         my $string = create_string($first_line, $index);
    
14.         say {$output_fh} $string;
    
15.     }
    
16. }
    
17. 
    
18. # 根据模板创建记录
    
19. sub create_string {
    
20.     my ($first_line, $index_line) = @_;
    
21.     return "$first_line\n$index_line\n+\nAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA";
    
22. }   
    
23. 
    
24. # 将不同的部分按照索引行提取出来，生成新的文件，一行一条记录
    
25. sub filter_index_file {
    
26.     my ($input_file, $output_file) = @_;
    
27.     open(my $input_fh, '<', $input_file)  or die $!;
    
28.     open(my $output_fh, '>', $output_file) or die $!;
    
29.     my $line_number = 0;
    
30.     my $first_line = '';
    
31.     while (my $line = <$input_fh>) {
    
32.         chomp $line;
    
33.         $line_number++;
    
34.         $first_line = $line if ($line_number % 4 == 1);
    
35.         if ($line_number % 4 == 2) {
    
36.             say {$output_fh} $line . chr(32) . $first_line;
    
37.         }
    
38.     }
    
39.     close $input_fh;
    
40.     close $output_fh;
    
41. }
    
42. 
    
43. filter_index_file('test.txt', 'filter.txt');
    
44. system("sort filter.txt > index_sort.txt");
    
45. create_file('index_sort.txt', 'sort.txt');   
    

复制代码

要用的工具 sort 你应该有吧。

stanley_tam

果然是伸手党。假设文件名为test.txt，一次读取一百万行(看自己需求了，自己改)。。。看你上面的行长度，一百万估计就30M。
不过你要的是第二行排序。。。自己想办法咯{:3_195:}

1. #!perl
   
2. use strict;
   
3. use autodie qw{open close};
   
4. use v5.10;
   
5. 
   
6. our %tmp_files = ();
   
7. 
   
8. sub main;
   
9. sub split_file_by_line;
   
10. sub get_fh;
    
11. sub merge_sorted_file;
    
12. 
    
13. main();
    
14. 
    
15. sub main {
    
16.     my $line_number    = 1000000;
    
17.     my $big_file       = 'test.txt';
    
18.     my $sorted_file    = q{};
    
19.     split_file_by_line($big_file, $line_number);
    
20. 
    
21.     my $tag = 1;
    
22.     while (keys %tmp_files > 1) {
    
23.         my ($file1, $file2) = (keys %tmp_files)[0,1];
    
24.         my $merged_file = "merge_$tag.txt";
    
25.         merge_sorted_file($file1, $file2, $merged_file);
    
26.         unlink $file1;
    
27.         unlink $file2;
    
28. 
    
29.         delete $tmp_files{$file1};
    
30.         delete $tmp_files{$file2};
    
31. 
    
32.         $tmp_files{$merged_file}++;
    
33.         $tag++;
    
34.     }
    
35.     $sorted_file = (keys %tmp_files)[0];
    
36.     print "\$sorted_file => [$sorted_file]\n";
    
37.     <STDIN>;
    
38. }
    
39. 
    
40. sub merge_sorted_file {
    
41.     my ($file1, $file2, $output_file) = @_;
    
42.     my $fh1 = get_fh('<', $file1);
    
43.     my $fh2 = get_fh('<', $file2);
    
44.     my $output_fh   = get_fh('>', $output_file);
    
45.     my $smaller_one = q{};
    
46.     my $larger_one  = q{};
    
47. 
    
48.     my $line_f1 = <$fh1>;
    
49.     my $line_f2 = <$fh2>;
    
50. 
    
51.     chomp $line_f1;
    
52.     chomp $line_f2;
    
53. 
    
54.     while (1) {
    
55.         if ($line_f1 le $line_f2) {
    
56.             $smaller_one = $line_f1;
    
57.             $larger_one  = $line_f2;
    
58. 
    
59.             if (eof $fh1) {
    
60.                 say {$output_fh} $smaller_one;
    
61.                 say {$output_fh} $larger_one;
    
62. 
    
63.                 while (my $line = <$fh2>) {
    
64.                     chomp $line;
    
65.                     say {$output_fh} $line;
    
66.                 }
    
67. 
    
68.                 last;
    
69.             }
    
70.             else {
    
71.                 chomp($line_f1 = <$fh1>);
    
72.             }
    
73.         }
    
74.         else {
    
75.             $smaller_one = $line_f2;
    
76.             $larger_one  = $line_f1;
    
77. 
    
78.             if (eof $fh2) {
    
79.                 say {$output_fh} $smaller_one;
    
80.                 say {$output_fh} $larger_one;
    
81. 
    
82.                 while (my $line = <$fh1>) {
    
83.                     chomp $line;
    
84.                     say {$output_fh} $line;
    
85.                 }
    
86.                 last;
    
87.             }
    
88.             else {
    
89.                 chomp($line_f2 = <$fh2>);
    
90.             }
    
91.         }
    
92.         say {$output_fh} $smaller_one;
    
93.     }
    
94. 
    
95.     close $fh1;
    
96.     close $fh2;
    
97.     close $output_fh;
    
98. }
    
99. 
    
100. sub split_file_by_line {
     
101.     my ($file, $line_number) = @_;
     
102.     my $tag = 1;
     
103. 
     
104.     my $fh = get_fh('<', $file);
     
105. 
     
106.     OUTER:
     
107.     while (1) {
     
108.         my @lines = ();
     
109.         INNER:
     
110.         for my $lno (1 .. $line_number){
     
111.             last INNER if eof $fh;
     
112.             my $line = <$fh>;
     
113.             chomp $line;
     
114.             push @lines, $line;
     
115.         }
     
116. 
     
117.         if (scalar @lines) {
     
118.             @lines = sort {$a cmp $b} @lines;
     
119. 
     
120.             my $tmp_file_name = "tmp_$tag.txt";
     
121.             my $tmp_fh = get_fh('>', $tmp_file_name);
     
122.             say {$tmp_fh} $_ for @lines;
     
123.             close $tmp_fh;
     
124. 
     
125.             $tmp_files{$tmp_file_name}++;
     
126.             $tag++;
     
127.         }
     
128.         else {
     
129.             last OUTER;
     
130.         }
     
131.     }
     
132. }
     
133. 
     
134. sub get_fh {
     
135.     my ($mode, $file) = @_;
     
136.     my $fh;
     
137.     open $fh, $mode, $file;
     
138.     return $fh;
     
139. }
     
140. __END__

复制代码

回复 8# huang6894


   

pitonas

当然內存占用越小越慢

huang6894

回复 13# pitonas


    其实就是想测试如何在低cpu的条件下实现排序。。。cpu是个模拟的条件，当然占用越小越好

pitonas

多少內存?