文本处理，取最大值和最小值

kernel69

shell一题，
有一个文件里面内容如下：

111        16644211        348795021
111        16644211        348795368
111        16644211        348797001
111        16644211        348797826
111        22443489        348795333
111        67384560        348795445
111        67384560        348795879
现需要根据第一二列，统计它们出现的次数，
以及对应第三列的最小值和最大值，如果只有
一次，则第3列为最小值
统计结果如下：

111        16644211    4   348795021   348797826
111        22443489    1   348795333
111        67384560    2   348795445   348795879

去重和计数都写好的，就卡在取最大和最小值没有思路，请大家帮忙
下面是我的脚本

1. #!/usr/bin/perl -w
   
2. 
   
3. use 5.010;
   
4. use strict;
   
5. use List::Util qw(max min);
   
6. 
   
7. my %h;
   
8. my @arr;
   
9. my $str;
   
10. my $str1;
    
11. my $str2;
    
12. 
    
13. while (<DATA>) {
    
14.     ($str,$str1,$str2) = split;
    
15.     $h{$str."\t".$str1}++;
    
16. 
    
17. }
    
18. 
    
19. for my $k (keys %h) {
    
20.     say "$k\t$h{$k}"
    
21. }
    
22. 
    
23. __DATA__
    
24. 111        16644211        348795021
    
25. 111        16644211        348795368
    
26. 111        16644211        348797001
    
27. 111        16644211        348797826
    
28. 111        22443489        348795333
    
29. 111        67384560        348795445
    
30. 111        67384560        348795879

复制代码

ulmer

回复 1# kernel69

Simply using reference array/hash => Hash of Array for example:

1. 
   
2. use strict;
   
3. # Load data
   
4. my @data =<DATA>;
   
5. # Create data structure Hash of Array
   
6. my %HoA = ();
   
7. foreach my $line (@data) {
   
8.     chomp $line;
   
9.     # Split columns
   
10.     my ($c1, $c2, $c3) = split /\s+/, $line, 3;
    
11.     # Column2 as key and column3 as array items to append   
    
12.     push @{$HoA{$c2}}, $c3;
    
13. }
    
14. # Access the data structure
    
15. foreach my $key (sort keys %HoA) {
    
16.     # derefernce Array in Hash and sort it to get max and min.
    
17.     my @ary = sort @{$HoA{$key}};
    
18.     # show
    
19.     printf ("%s counted %s times, max=%s, min=%s\n",
    
20.         $key, scalar(@ary), $ary[-1], $ary[0]);
    
21. }
    
22. 
    
23. __DATA__
    
24. 111        16644211        348795021
    
25. 111        16644211        348795368
    
26. 111        16644211        348797001
    
27. 111        16644211        348797826
    
28. 111        22443489        348795333
    
29. 111        67384560        348795445
    
30. 111        67384560        348795879
    

复制代码

Happy National holiday

jason680

回复 1# kernel69

How about this ...

$ perl cnt_min_max.pl
111     16644211        4       348795021       348797826
111     22443489        1       348795333
111     67384560        2       348795445       348795879

$ cat cnt_min_max.pl
use strict;
use warnings;

my %h;
while(<DATA>){

  my ($sKey1,$sKey2,$sValue) = split;
  
  my $sKey = "$sKey1\t$sKey2";
  if( ++$h{$sKey}->{Cnt} == 1){    # Cnt for Count
      $h{$sKey}->{Min} = $sValue;   # Min for Minimum value
      $h{$sKey}->{Max} = $sValue;  # max for maximum value
  }
  else{
    if($h{$sKey}->{Max} < $sValue){
           $h{$sKey}->{Max} = $sValue;  
        }
    if($h{$sKey}->{Min} > $sValue){
           $h{$sKey}->{Min} = $sValue;  
        }
  }
}

my $sOut;
foreach (sort keys %h) {
  $sOut = join("\t", $_, $h{$_}->{Cnt}, $h{$_}->{Min});
  $sOut .= "\t". $h{$_}->{Max} if($h{$_}->{Cnt} != 1);
  print "$sOut\n";
}

__DATA__
111        16644211        348795021
111        16644211        348795368
111        16644211        348797001
111        16644211        348797826
111        22443489        348795333
111        67384560        348795445
111        67384560        348795879

kernel69

学习了，

1. 哈希当数组
   
2. push @{$HoA{$c2}}, $c3;
   
3. 最大和最小值
   
4. my @ary = sort @{$HoA{$key}};
   
5. scalar(@ary), $ary[-1], $ary[0]);
   

复制代码

回复 2# ulmer


   

kernel69

完全符合要求

1. $h{$sKey}->{Cnt}

复制代码

这是引用吧，还没学，呵呵，表示有点看不懂
回复 3# jason680


   

kernel69

大牛，能不能解释一下这一段

1. if( ++$h{$sKey}->{Cnt} == 1){    # Cnt for Count
   
2.       $h{$sKey}->{Min} = $sValue;   # Min for Minimum value
   
3.       $h{$sKey}->{Max} = $sValue;  # max for maximum value
   
4.   }

复制代码

感觉挺core的，不明觉厉啊

回复 3# jason680


   

pitonas

回复 6# kernel69
我和我的小伙伴们据估计，凭猜测

1.     if( ++$h{$sKey}->{Cnt} == 1){   
   
2. # 当第一次 没有 Min 没有 Max 的时候：
   
3.           $h{$sKey}->{Min} = $sValue;   
   
4. # $sValue 分配给 Min
   
5.           $h{$sKey}->{Max} = $sValue;  
   
6. # $sValue 分配给 Max
   
7.       }

复制代码

jason680

回复 7# pitonas


Good answer and thanks !!!   

kernel69

$h{$sKey}->{Cnt} == 1
这也是创建一个引用，是吗？
回复 7# pitonas


   

mcshell

1. use strict;
   
2. use warnings;
   
3. my $h;
   
4. map { /(\d+\s+\d+)\s+(\d+)(?{push @{$h->{$1}},$2})/ } <DATA>;
   
5. map {
   
6.     my ( $min, $max ) = ( sort @{ $h->{$_} } )[ 0, -1 ];
   
7.     my $sc = scalar @{ $h->{$_} };
   
8.     print "$_\t";
   
9.     $sc == 1 ? print "1\t@{$h->{$_}}\n" : print "$sc\t$min\t$max\n"
   
10. } keys $h;
    
11. __DATA__
    
12. 111        16644211        348795021
    
13. 111        16644211        348795368
    
14. 111        16644211        348797001
    
15. 111        16644211        348797826
    
16. 111        22443489        348795333
    
17. 111        67384560        348795445
    
18. 111        67384560        348795879

复制代码