每天5G的nginx日志，需要怎么分析?

yu34po

回复 10# mcshell


    这是啥?

mcshell

回复 11# yu34po


    取无序的字段

yu34po

回复 12# mcshell


   

yu34po

回复 9# 墨迹哥


    以appid为用户进行统计的，areaid和typd都是基于appid进行统计，"appid=439743"，一般都是这样的字段，后面的那六位数字，
还有啥，主要就是基于appid为key的value值，

weizhulinux

没那么复杂
apache或者nginx 日志 分析
5G的日志，用8核16G内存的1u服务器分析
得出基本目标参数为ip,uv,pv，停留时间，跳出率，退出率，对全部访问过的页面按访问次数降序统计，对用户按用户访问次数降序排序
耗时大约30分钟

可以以滚动日志----每小时产生日志为单位进行分析

分析最好用两级分析
第一级是单进程的，按分析目标生成一堆非常格式化的中间结果，就是对日志原文件进行预处理，预处理生成目标也是文本文件，格式可以如下
比如分析目标是哪些用户访问过哪些url，并且该用户对这些url访问过多少次，对这个目标，生成以下格式中间文件
uid1  url2
uid2 url3
uid1 url4
。。。。
第二级perl分析，对上一步生成的中间结果进行统计，产生结果
需要注意的是，对每个目标结果的分析，都应该产生相应的中间结果，这样，对于时间跨度比较大的分析，分析样本的文件体积会大幅缩小，降低计算量和io消耗
第二级就可以是多进程了，针对每个分析目标，启动一个perl分析脚本，对相应的中间结果进行分析，这样可以充分利用服务器资源，加快分析。

这样做的好处是：
中间文件可以保存下来，如果你要出一个周统计，就把这些中间文件整个过一遍就可以出结果了，不需要你再去操作原文件，原文件体积太大。

需要用到的perl相关的技术，一些数据结构
正则，子表达式的提取
hash表，红黑树也可
heap堆排序，建议用斐波那契那个堆排序
这些东西在cpan上有相应库，哪来用即可

yu34po

回复 15# weizhulinux


    关键是我连perl都不会。。。

pitonas

MS 复杂{:2_170:}

weizhulinux

没事，只要你写过代码，一天就学会了，别恐惧啊
用不了多少代码，倒是数据结构的使用，可能一下不太习惯

   

rubyish

回复 10# mcshell

3Q~   
先收藏，再慢慢研究，谢谢了。

   

rubyish

kankan:

1. #!/usr/bin/perl
   
2. my $log = '/tmp/dl/mytestlog';
   
3. open my $f, $log or die "$log: $!";
   
4. my ( %ip, %id );
   
5. 
   
6. while (<$f>) {
   
7.     my ($ip) = /^(\S+)/;
   
8.     my %a = /(areaid|type|appid)=(\w*)[%&]/g;
   
9.     $ip{$ip}++;
   
10.     next if !$a{appid};
    
11.     $id{ $a{appid} }{c}++;
    
12.     $id{ $a{appid} }{type}{ $a{type} }++     if $a{type};
    
13.     $id{ $a{appid} }{areaid}{ $a{areaid} }++ if $a{areaid};
    
14. }
    
15. 
    
16. while ( my ( $k, $v ) = each %id ) {
    
17.     print "id:\t", $k, $/;
    
18.     print "times:\t", $v->{c}, $/;
    
19.     print "type:\t", join( ', ', keys %{ $v->{type} } ), $/;
    
20.     print "areaid:\t", join( ', ', keys %{ $v->{areaid} } ), $/, $/;
    
21. }
    
22. 
    
23. print $/;
    
24. 
    
25. while ( my ( $k, $v ) = each %ip ) {
    
26.     print "$k\t$v$/";
    
27. }

复制代码