经典pv统计问题的perl脚本请教，也许早有了，就是不知道怎么做。

opiopuiopoi

原始日志格式文本如下：
#cat a.lst

10.10.1.1        http://www.hao.com/1.html
10.10.1.2        http://www.hao.com/2.html
10.10.1.3        http://www.hao.com/3.html
10.10.1.4        http://www.hao.com/4.html
10.10.1.2        http://www.hao.com/1.html
10.10.1.1        http://www.hao.com/1.html
10.10.1.1        http://www.hao.com/2.html
10.10.1.2        http://www.hao.com/3.html
10.10.1.1        http://www.hao.com/1.html
10.10.1.3        http://www.hao.com/2.html

求教一shell脚本或perl脚本处理后生成如下报表：

url                                        独立ip                  pv
--------------------------------------------------------------------
http://www.hao.com/1.html        2                4
http://www.hao.com/2.html        3                3
http://www.hao.com/3.html        2                2
http://www.hao.com/4.html        1                1


总结：即通过url计算每个url的独立ip数和pv数，并可按pv数或者独立ip数量进行排序。

flw

这都不会就打算出来混了吗？

自己认认真真学点东西很难吗？

x9x9

这都不会就打算出来混了吗？

自己认认真真学点东西很难吗？
flw 发表于 2010-05-14 19:52

    老大的意思是很简单吧，我费了半天劲，还没想好如何按ip或pv排序~{:3_186:}

1. use strict;
   
2. use warnings;
   
3. 
   
4. my %link;
   
5. 
   
6. while(<>){
   
7. my($ip,$url)=split;
   
8. $link{$url}{$ip}++;
   
9. }
   
10. 
    
11. open FH,">ippv.txt";
    
12. 
    
13. foreach my $kip (keys %link){
    
14. my $ip;
    
15. my $pv;
    
16. my $ref=$link{$kip};
    
17. foreach my $kk (keys %{$ref}){
    
18. $ip++ if ${$ref}{$kk};
    
19. $pv+=${$ref}{$kk};
    
20. }
    
21. print FH $kip,"\t",$ip,"\t",$pv,"\n";
    
22. }
    
23. 
    
24. close FH;
    

复制代码

flw

老大的意思是很简单吧，我费了半天劲，还没想好如何按ip或pv排序~
x9x9 发表于 2010-05-14 20:51

sort 可以排序

Mr-Summer

为什么出不来？
  1 open(RH,'a.lst');
  2 my %hash;
  3 while(<RH>)
  4 {
  5         chomp;
  6         ($ip,$url)=split/\s+/,$_;
  7         unless($hash{$url}=[$ip,$count])
  8         {$hash{$url}[$ip]++;}
  9 }      
10 close RH;
11 for $url(keys %hash){
12 print "$url: @{$hash{$url}}\n";
13 }

yybmsrs

1. my $hash_ref;
   
2. my $fina_ref;
   
3. 
   
4. while(<DATA>)
   
5. {
   
6.         chomp;
   
7.         my @yy = split;
   
8.         $hash_ref->{$yy[1]}->{$yy[0]}++;
   
9. }
   
10. 
    
11. print Dumper($hash_ref);
    
12. 
    
13. foreach my $key1 (keys %$hash_ref)
    
14. {
    
15.         foreach my $key2 (keys %{$hash_ref->{$key1}})
    
16.         {
    
17.                 $fina_ref->{$key1}->{ip}++;
    
18.                 $fina_ref->{$key1}->{pv} += $hash_ref->{$key1}->{$key2};
    
19.         }
    
20. }
    
21. 
    
22. print Dumper($fina_ref);
    
23. 
    
24. print "url                              独立ip           pv\n";
    
25. print "----------------------------------------------\n";
    
26. foreach my $key (sort{$fina_ref->{$b}->{pv} <=> $fina_ref->{$a}->{pv}} keys %$fina_ref)
    
27. {
    
28.         print "$key    $fina_ref->{$key}->{ip}  $fina_ref->{$key}->{pv}\n";
    
29. }

复制代码

这个是麻烦的，有些东西可以在第一步处理。最后的格式还可以处理一下。

opiopuiopoi

非常感谢楼上各位老大，最后还是参考了perl版里的帖子做了：

http://bbs.chinaunix.net/thread-1704515-1-1.html

x9x9

非常感谢楼上各位老大，最后还是参考了perl版里的帖子做了：
opiopuiopoi 发表于 2010-05-15 16:38

    感觉这问题应该是用sed或AWK更好处理，因为它们对列的处理更容易把握些。

李寻欢92

回复 1# opiopuiopoi

1. #!/usr/bin/perl -w
   
2. use strict;
   
3. open FILE,"<a.lst" or die "Can not open file tmp_3:$!";
   
4. my %pv;
   
5. my %ip;
   
6. while(<FILE>) {
   
7.     chomp;
   
8.     my ($ip_2,$url) = split;
   
9.     $pv{$url}++;
   
10.     push @{$ip{$url}},$ip_2 unless $ip_2 ~~@{$ip{$url}};
    
11.     print "ip_2 = $ip_2, ip = @{$ip{$url}}\n";
    
12. }
    
13. my %reverse_pv = reverse %pv;
    
14. for (reverse sort keys %reverse_pv) {
    
15.     print "$reverse_pv{$_}   ",scalar @{$ip{$reverse_pv{$_}}},"   $_\n";
    
16. }
    

复制代码