求助：文本重复行统计

hkldd

   现有 a.txt文档，想把任意5个数字相同的行数进行统计，并且把统计结果写入b.txt文档中。谢谢大家！

a.txt (需要处理的文档)
05 06 07 08 09 25
05 06 07 08 09 26
05 06 07 08 09 27
05 06 07 08 09 28
05 06 07 08 09 29
05 06 07 08 09 30
05 06 07 08 09 31
05 06 07 08 09 32
05 06 07 08 09 33
05 06 07 08 10 11
05 06 07 08 10 12
05 06 07 08 10 13
05 06 07 08 10 14
05 06 07 08 10 15
05 06 07 08 10 16
05 06 07 08 10 17
05 06 07 08 09 25
05 06 07 08 09 26
01 02 03 04 05 06
01 02 03 04 05 07
01 02 03 04 05 08
01 02 03 04 05 09
01 02 03 04 05 10
01 02 03 04 05 11
01 02 03 04 05 12
01 02 03 04 05 13
01 02 03 04 05 14
01 02 03 04 05 15
01 02 03 04 05 16
01 02 03 04 05 17
01 02 03 04 05 18
01 02 03 04 05 19
01 02 03 04 05 20
01 02 03 04 05 21
01 02 03 04 05 22
01 02 03 04 05 23

b.txt (想要的结果)
01 02 03 04 05      18
05 06 07 08 09      11
05 06 07 08 10       7
06 07 08 09 25       2
06 07 08 09 26       2

rubyish

我de结果:

1. 01 02 03 04 05  18
   
2. 05 06 07 08 09  11
   
3. 05 06 07 08 10  7
   
4. 05 06 07 09 25  2
   
5. 05 06 07 08 26  2
   
6. 05 07 08 09 25  2
   
7. 06 07 08 09 26  2
   
8. 05 07 08 09 26  2
   
9. 06 07 08 09 25  2
   
10. 05 06 08 09 25  2
    
11. 05 06 07 09 26  2
    
12. 05 06 08 09 26  2
    
13. 05 06 07 08 25  2
    

复制代码

if correct ?
想把统计结果写入b.txt文档中
perl abc.pl a.txt > b.txt

1. #!/usr/bin/perl
   
2. 
   
3. my %h;
   
4. my @i = (
   
5.     [ 0, 1, 2, 3, 4 ],
   
6.     [ 0, 1, 2, 3, 5 ],
   
7.     [ 0, 1, 2, 4, 5 ],
   
8.     [ 0, 1, 3, 4, 5 ],
   
9.     [ 0, 2, 3, 4, 5 ],
   
10.     [ 1, 2, 3, 4, 5 ]
    
11. );
    
12. 
    
13. while (<>) {
    
14.     my @a = split;
    
15.     $h{"@a[@$_]"}++ for @i;
    
16. }
    
17. 
    
18. for my $k ( sort { $h{$b} <=> $h{$a} } keys %h ) {
    
19.     $h{$k} > 1 ? print "$k\t$h{$k}$/" : last;
    
20. }
    

复制代码

better:

1. #!/usr/bin/perl
   
2. 
   
3. my %h;
   
4. 
   
5. while (<>) {
   
6.     my @a = split;
   
7.     $h{"@a[ 0, 1, 2, 3, 4 ]"}++;
   
8.     $h{"@a[ 0, 1, 2, 3, 5 ]"}++;
   
9.     $h{"@a[ 0, 1, 2, 4, 5 ]"}++;
   
10.     $h{"@a[ 0, 1, 3, 4, 5 ]"}++;
    
11.     $h{"@a[ 0, 2, 3, 4, 5 ]"}++;
    
12.     $h{"@a[ 1, 2, 3, 4, 5 ]"}++;
    
13. }
    
14. 
    
15. for my $k ( sort { $h{$b} <=> $h{$a} } keys %h ) {
    
16.     $h{$k} > 1 ? print "$k\t$h{$k}$/" : last;
    
17. }

复制代码

ly5066113

回复 1# hkldd

1. perl -lne 's/ \d+$//;$h{$_}++;END{for(sort keys %h){print "$_\t$h{$_}"}}' a.txt > b.txt

复制代码

kernel69

1. 
   
2. 我自己写的，感觉2楼的要好一些:luya:
   
3. $ cat p.pl
   
4. #!/usr/bin/env perl
   
5. 
   
6. for (<DATA>) {
   
7.         ($n1,$n2,$n3,$n4,$n5,$n6) = split;
   
8.         $h{$n1,$n2,$n3,$n4,$n5}++;
   
9.         $h{$n2,$n3,$n4,$n5,$n6}++;
   
10.         $h{$n3,$n4,$n5,$n6,$n1}++;
    
11.         $h{$n4,$n5,$n6,$n1,$n2}++;
    
12.         $h{$n5,$n6,$n1,$n2,$n3}++;
    
13.         $h{$n6,$n1,$n2,$n3,$n4}++;
    
14.        
    
15. }
    
16. 
    
17. END{
    
18.         for $k(keys %h) {
    
19.                 grep ($_ > 1,$h{$k}) ? print "$k\t$h{$k}\n" : next;
    
20.         }
    
21. }
    
22. 
    
23. __DATA__
    
24. 05 06 07 08 09 25
    
25. 05 06 07 08 09 26
    
26. 05 06 07 08 09 27
    
27. 05 06 07 08 09 28
    
28. 05 06 07 08 09 29
    
29. 05 06 07 08 09 30
    
30. 05 06 07 08 09 31
    
31. 05 06 07 08 09 32
    
32. 05 06 07 08 09 33
    
33. 05 06 07 08 10 11
    
34. 05 06 07 08 10 12
    
35. 05 06 07 08 10 13
    
36. 05 06 07 08 10 14
    
37. 05 06 07 08 10 15
    
38. 05 06 07 08 10 16
    
39. 05 06 07 08 10 17
    
40. 05 06 07 08 09 25
    
41. 05 06 07 08 09 26
    
42. 01 02 03 04 05 06
    
43. 01 02 03 04 05 07
    
44. 01 02 03 04 05 08
    
45. 01 02 03 04 05 09
    
46. 01 02 03 04 05 10
    
47. 01 02 03 04 05 11
    
48. 01 02 03 04 05 12
    
49. 01 02 03 04 05 13
    
50. 01 02 03 04 05 14
    
51. 01 02 03 04 05 15
    
52. 01 02 03 04 05 16
    
53. 01 02 03 04 05 17
    
54. 01 02 03 04 05 18
    
55. 01 02 03 04 05 19
    
56. 01 02 03 04 05 20
    
57. 01 02 03 04 05 21
    
58. 01 02 03 04 05 22
    
59. 01 02 03 04 05 23
    
60. $ ./p.pl
    
61. 0506070809        11
    
62. 0102030405        18
    
63. 0925050607        2
    
64. 0708092505        2
    
65. 0809260506        2
    
66. 0607080926        2
    
67. 2605060708        2
    
68. 0926050607        2
    
69. 0809250506        2
    
70. 0708092605        2
    
71. 0506070810        7
    
72. 2505060708        2
    
73. 0607080925        2
    
74. $

复制代码

回复 1# hkldd


   

rubyish

回复 4# kernel69


赞一个     

大牛这个更快了.. 学习了！

kernel69

如果文件比较大的话，我这就不行了，

回复 5# rubyish


   

MMMIX

hkldd 发表于 2014-04-08 00:01
现有 a.txt文档，想把任意5个数字相同的行数进行统计，并且把统计结果写入b.txt文档中。谢谢大家！

你这任意五个数字需要连续出现么？如果需要连续出现，那问题还比较简单，一行也就两个结果，前五个数字和后五个数字。

1. 
   
2. #!/usr/bin/perl
   
3. 
   
4. use strict;
   
5. use warnings;
   
6. 
   
7. use feature qw(switch say);
   
8. 
   
9. use Data::Dumper;
   
10. 
    
11. my %record;
    
12. 
    
13. while (<>) {
    
14.         chomp;
    
15.         my @nums = split / /, $_;
    
16.         $record{join ' ', @nums[0..4]}++;
    
17.         $record{join ' ', @nums[1..5]}++;
    
18. }
    
19. 
    
20. while (my ($key, $val) = each %record) {
    
21.         say "$key\t$val" if $val > 1;
    
22. }
    

复制代码

要是说可以忽略顺序，会麻烦些，每行有六个结果。