求助：用Perl统计重复行次数并排序(千万级行数)的代码

iamlimeng

如果数据的重复程度低，机器配置又不行，那上面的代码跑起来效率就不会高。

q1208c

这么大的数据量, 我觉得搞个数据库好些, 否则内存是个大问题.

hkldd

文件太大读入时间太久，想把数据精减成这样后再试，请大家把代码改一下好吗？
       识别编码
11 23 55 73 89 82   
13 33 58 73 82 89
13 33 58 73 82 89  
13 33 58 73 82 89   
15 36 68 79 85 99  
01 12 23 24 55 68  
03 05 11 23 45 89
11 23 55 73 89 82
15 36 68 79 85 99
15 36 68 79 85 99   
07 10 11 17 56 89   
11 23 55 73 89 82   
15 36 68 79 85 99   
16 19 28 35 65 79   
15 36 68 79 85 99   
11 23 55 73 89 82   
16 19 28 35 65 79   
11 23 55 73 89 82  
32 55 67 68 78 79   
32 55 67 68 78 79   
22 25 27 36 49 78   
22 25 27 36 49 78  
22 25 27 36 49 78   
22 25 27 36 49 78   
  ·
  ·
  ·
  ·

期望得到的运行结果(sp2的累计次数排序式样)

          识别编码        call(次)
   11 23 55 73 89 82     5
   15 36 68 79 85 99     5
   22 25 27 36 49 78     4
   13 33 58 73 82 89     3
   16 19 28 35 65 79     2
   32 55 67 68 78 79     2
   01 12 23 24 55 68     1
   03 05 11 23 45 89     1
   07 10 11 17 56 89     1

hkldd

mcshell大侠想请你帮忙修改一下你写的这个代码好吗？
#!/usr/bin/perl
use strict;
use warnings;
use Data:umper;
my %hash;
open FA,"sp1" or die "$!";
while(<FA>{
    /((?:\s\d{2}){6})(?{$hash{$1}++})/;
}
close FA;
open FB,">sp2" or die "$!";
print FB "$_\t$hash{$_}\n" for (sort{$hash{$b} <=> $hash{$a}}keys %hash);
close FB;

    现在遇到的情况是；文件中识别编码前必须留空格才能运行岀来统计次数，去掉空格运行
不岀来数据，想请你帮忙修改一下你写的代码，使识别编码前不留空格也可以运行，好吗？谢谢！

dahe_1984

hkldd 发表于 2013-01-13 23:07
mcshell大侠想请你帮忙修改一下你写的这个代码好吗？
#!/usr/bin/perl
use strict;

什么意思? 去掉\s?

dahe_1984

hkldd 发表于 2013-01-13 23:07
mcshell大侠想请你帮忙修改一下你写的这个代码好吗？
#!/usr/bin/perl
use strict;

什么意思? 去掉\s?

dahe_1984

/((?:\s\d{2}){6})(?{$hash{$1}++})/; 改成 /((?:\d{2}){6})(?{$hash{$1}++})/; 你是这个意思么?

mcshell

1. /((?:\s*\d{2}){6})(?{$hash{$1}++})/

复制代码

回复 14# hkldd


    这样就好。。。
不过数据量太大。。就想LS几位说的。。效率不是很高。

hkldd

    真诚的谢谢你mcshell大侠 ，你写的代码我在5.16.2上运行通过了，由于文件太大了用了将近10分钟左右完成，总算是解决了大问题，谢谢你！