每天5G的nginx日志，需要怎么分析?

yu34po

回复 18# weizhulinux


    我感觉我一天搞不定。。。

yu34po

回复 20# rubyish


    这个比较强悍

yu34po

回复 20# rubyish
能加个IP结果限制输出吗？因为有些只有1次或者几次访问的可以直接过滤掉这些结果，
还有就是图中有些ID可能是获取到的问题，比如会有这样的数据appid=eif324klfdsfdsf&或者appid=12&，这样的结果能直接提前或者最后过滤掉吗?


   

rubyish

回复 23# yu34po

biru:

1. while ( my ( $k, $v ) = each %id ) {
   
2.     next if length $k != 6;

复制代码

1. 
   
2. while ( my ( $k, $v ) = each %ip ) {
   
3.     next if $v < 10;

复制代码

yu34po

回复 24# rubyish


   

yu34po

回复 24# rubyish


    这多个这样的文件如何合并成一个文件？按id为主键相加，IP的按IP相加？

rubyish

比如文件:
appid:        d30b9f
times:        3
type:        index, air
areaid:        101240412, 101240508

appid:        71f520
times:        7
type:        index, forecast3d, air
areaid:        101110601, 101280601, 101190801, 101200101

appid:        aa2f1a
times:        4
type:        forecast5d, air
areaid:        101120101, 101290402, 101090101, 101180101

61.4.184.81        2256
61.4.184.93        8147
61.4.184.90        7226
61.4.184.92        7048

perl abc.pl *.txt

1. #!/usr/bin/perl
   
2. 
   
3. my ( %data, %ip );
   
4. while (<>) {
   
5.     if (/^[ait]/) {
   
6.         my ( undef, $appid )  = split;
   
7.         my ( undef, $times )  = split /\s+/, <>;
   
8.         my ( undef, @type )   = <> =~ /(\w+)/g;
   
9.         my ( undef, @areaid ) = <> =~ /(\w+)/g;
   
10.         $data{$appid}{times} += $times;
    
11.         $data{$appid}{type}{$_}++   for @type;
    
12.         $data{$appid}{areaid}{$_}++ for @areaid;
    
13.     }
    
14.     elsif (/^\s*$/) { next }
    
15.     elsif (/^\d/) {
    
16.         my ( $ip, $count ) = split;
    
17.         $ip{$ip} += $count;
    
18.     }
    
19. }
    
20. 
    
21. while ( my ( $k, $v ) = each %data ) {
    
22.     print "appid:\t$k$/";
    
23.     print "times:\t$v->{times}$/";
    
24.     print "type:\t", join( ', ', keys %{ $v->{type} } ), $/;
    
25.     print "areaid:\t", join( ', ', keys %{ $v->{areaid} } ), $/, $/;
    
26. }
    
27. 
    
28. while ( my ( $k, $v ) = each %ip ) {
    
29.     print "$k\t$v$/";
    
30. }
    

复制代码

yu34po

回复 27# rubyish


    大神，现在需求又变了，需要加一个url的统计，求指导。。
跟IP一样，统计访问的url次数，

pitonas

大牛，where is 这个url的访问的url次数？{:2_172:}

yu34po

回复 29# pitonas


擦，url就是url,这个需求我还纳闷呢，是要把每个url都给统计出来