求助：文本重复行统计

rubyish

我de结果:

1. 01 02 03 04 05  18
   
2. 05 06 07 08 09  11
   
3. 05 06 07 08 10  7
   
4. 05 06 07 09 25  2
   
5. 05 06 07 08 26  2
   
6. 05 07 08 09 25  2
   
7. 06 07 08 09 26  2
   
8. 05 07 08 09 26  2
   
9. 06 07 08 09 25  2
   
10. 05 06 08 09 25  2
    
11. 05 06 07 09 26  2
    
12. 05 06 08 09 26  2
    
13. 05 06 07 08 25  2
    

复制代码

if correct ?
想把统计结果写入b.txt文档中
perl abc.pl a.txt > b.txt

1. #!/usr/bin/perl
   
2. 
   
3. my %h;
   
4. my @i = (
   
5.     [ 0, 1, 2, 3, 4 ],
   
6.     [ 0, 1, 2, 3, 5 ],
   
7.     [ 0, 1, 2, 4, 5 ],
   
8.     [ 0, 1, 3, 4, 5 ],
   
9.     [ 0, 2, 3, 4, 5 ],
   
10.     [ 1, 2, 3, 4, 5 ]
    
11. );
    
12. 
    
13. while (<>) {
    
14.     my @a = split;
    
15.     $h{"@a[@$_]"}++ for @i;
    
16. }
    
17. 
    
18. for my $k ( sort { $h{$b} <=> $h{$a} } keys %h ) {
    
19.     $h{$k} > 1 ? print "$k\t$h{$k}$/" : last;
    
20. }
    

复制代码

better:

1. #!/usr/bin/perl
   
2. 
   
3. my %h;
   
4. 
   
5. while (<>) {
   
6.     my @a = split;
   
7.     $h{"@a[ 0, 1, 2, 3, 4 ]"}++;
   
8.     $h{"@a[ 0, 1, 2, 3, 5 ]"}++;
   
9.     $h{"@a[ 0, 1, 2, 4, 5 ]"}++;
   
10.     $h{"@a[ 0, 1, 3, 4, 5 ]"}++;
    
11.     $h{"@a[ 0, 2, 3, 4, 5 ]"}++;
    
12.     $h{"@a[ 1, 2, 3, 4, 5 ]"}++;
    
13. }
    
14. 
    
15. for my $k ( sort { $h{$b} <=> $h{$a} } keys %h ) {
    
16.     $h{$k} > 1 ? print "$k\t$h{$k}$/" : last;
    
17. }

复制代码

rubyish

回复 4# kernel69


赞一个     

大牛这个更快了.. 学习了！