求助：用Perl统计重复行次数并排序(千万级行数)的代码

hkldd

     工作中需要将系统导出的数据文件sp1进行统计处理，sp1是一个大约有3千万行左右的txt文档，其中有很多数据(识别编码)是重复出现的，我们的工作就是，统计其中已完成呼叫的识别编码，如果重复就统计次数、排序后(重复次数由大至小)保存为sp2就完成了，诚请各位大侠帮忙写段perl代码。谢谢！

以下是sp1的部分txt文档样本及期望获得的。

   序号                 识别编码         call(次)      基站
00000001    11 23 55 73 89 82     1       sp0001
00000002    13 33 58 73 82 89     1       sp0001
00000003    13 33 58 73 82 89     1       sp0001
00000004    13 33 58 73 82 89     1       sp0001
00000005    15 36 68 79 85 99     1       sp0001
00000006    01 12 23 24 55 68     1       sp0001
00000007    03 05 11 23 45 89     1       sp0001
00000008    11 23 55 73 89 82     1       sp0001
00000009    15 36 68 79 85 99     1       sp0001
00000010    15 36 68 79 85 99     1       sp0001
00000011    07 10 11 17 56 89     1       sp0001
00000012    11 23 55 73 89 82     1       sp0001
00000013    15 36 68 79 85 99     1       sp0001
00000014    16 19 28 35 65 79     1       sp0001
00000015    15 36 68 79 85 99     1       sp0001
00000016    11 23 55 73 89 82     1       sp0001
00000017    16 19 28 35 65 79     1       sp0001
00000018    11 23 55 73 89 82     1       sp0001
00000019    32 55 67 68 78 79     1       sp0001
00000020    32 55 67 68 78 79     1       sp0001
00000021    22 25 27 36 49 78     1       sp0001
00000022    22 25 27 36 49 78     1       sp0001
00000023    22 25 27 36 49 78     1       sp0001
00000024    22 25 27 36 49 78     1       sp0001
  ·
  ·
  ·
  ·

期望得到的运行结果(sp2的累计次数排序式样)

          识别编码        call(次)
   11 23 55 73 89 82     5
   15 36 68 79 85 99     5
   22 25 27 36 49 78     4
   13 33 58 73 82 89     3
   16 19 28 35 65 79     2
   32 55 67 68 78 79     2
   01 12 23 24 55 68     1
   03 05 11 23 45 89     1
   07 10 11 17 56 89     1

rubyish

看以下这段可以不？

1. #!/usr/bin/perl
   
2. my %h;
   
3. open my $sp1, 'sp1';
   
4. open my $sp2, '>', 'sp2';
   
5. 
   
6. my @p = ( split /\s{4,}/, <$sp1> )[ 1, 2 ];
   
7. while (<$sp1>) {
   
8.     my ( undef, $s, undef ) = split /\t/, $_, 3;
   
9.     $h{$s}++;
   
10. }
    
11. print $sp2 ' ' x 6, join( "\t\t", @p ), $/;
    
12. for ( sort { $h{$b} <=> $h{$a} } keys %h ) {
    
13.     print $sp2 "$_\t$h{$_}$/";
    
14. }

复制代码

gaoyang636

先试试用ls的Perl跑跑，如果数据量过大，而机器配置又不行，建议用Linux的 sort 和 uniq -c 搞定

kernel69

这个好像在shell版见过，用perl我也没想出来，版主出来解答了
回复 1# hkldd


   

mcshell

1. 
   
2. #!/usr/bin/perl
   
3. use strict;
   
4. use warnings;
   
5. use Data::Dumper;
   
6. my %hash;
   
7. open FA,"sp1" or die "$!";
   
8. while(<FA>){
   
9.     /((?:\s\d{2}){6})(?{$hash{$1}++})/;
   
10. }
    
11. close FA;
    
12. open FB,">sp2" or die "$!";
    
13. print FB "$_\t$hash{$_}\n" for (sort{$hash{$b} <=> $hash{$a}}keys %hash);
    
14. close FB;
    

复制代码

dahe_1984

回复 5# mcshell

/((?:\s\d{2}){6})(?{$hash{$1}++})/;

这行能扩展开写下么?

   

mcshell

回复 6# dahe_1984

1. /((?:\s\d{2}){6})/;
   
2. $hash{$1}++;
   
3. 
   

复制代码

(?{code})可以计算正则中匹配到的字符串，不会影响影响正则的匹配。
  (??{code})会影响正则的匹配。
例如:

1. '12' =~/(\d)((??{$1+1}))(?{print $2})/;
   
2. output:
   
3. 2
   

复制代码

dahe_1984

THanks. :wink:

dahe_1984

回复 5# mcshell


    我打算做个一次登录永久保存账户密码的程序,能给点思路么?

hkldd

谢谢大家的回复！我在xp下安装ActivePerl-5.8.8后，把两位大侠的代码，分别用记事本保存为st1.pl与st2.pl后，在行命令下执行，显示没有这个文件，双击st1.pl后在目录中产生一个空sp2文件，双击st2.pl没有反应，请问是什么原因？由于第一次使用perl，在网上爬到现在也没搞定，只好又来求助各位了，望详细指点下。谢谢！