每天5G的nginx日志，需要怎么分析?

yu34po

RT,要分析出每IP的访问数量和每IP的访问内容。
61.4.184.92 - - [05/Dec/2013:00:10:05 +0800] "GET /data/?areaid=329103324&type=observe&date=201312042349&appid=7fde98&key=BUyFU0GyXhzGNDIFEDMQaortggDQ= HTTP/1.1" 200 76 "-" "Dalvik/1.6.0 (Linux; U; Android 4.1.1; MI 2S MIUI/JLB23.0)" -
61.4.184.91 - - [05/Dec/2013:00:10:05 +0800] "GET /data/?areaid=101243506&type=observe&date=201301012336&appid=7cfdf9&key=oMqeris3J3IZ3CHkbOKd06X5NYg= HTTP/1.1" 200 77 "-" "Dalvik/1.4.0 (Linux; U; Android 4.0; US900G Build/GRK39F)" -
如示例数据中
1统计出每个用户请求的数量，(用户由appid字段的值来区分)
2每个用户请求的areaid和type,
3每个IP访问的数量
每天的日志有5G或者更多，这样的数据怎么处理?
在shell版块问了，用awk.效率有点低，perl是不是会比较快一些?
awk的代码:
/appid/&&/areaid/&&/type/{
        appid=gensub(/.*appid=([^&]*).*/,"\\1",1);
        areaid=gensub(/.*areaid=([^&]*).*/,"\\1",1);
        type=gensub(/.*type=([^&]*).*/,"\\1",1);
        IP=$1;

        a[appid]++;
        if(!x[appid,areaid]++)b[appid]=b[appid]?b[appid]" "areaid:areaid;
        if(!y[appid,type]++)c[appid]=c[appid]?c[appid]" "type:type;
        d[IP]++;
}

END{
        for(i in a)printf "appid:\t%s\ntimes:\t%d\nareaid:\t%s\ntype:\t%s\n\n",i,a[i],b[i],c[i];
        for(i in d)print i,d[i];
}

laputa73

perl 处理文本 大约是1G/分钟.

mcshell

传5MB左右数据~~测试下。

mcshell

看了 shell版块那边的输出结果，凑了一个

1. perl -lne '/^(\S+)[^=]+areaid=(\d+)\&type=([^&]+)\&[^&]+\&appid=([^\&]+)(?{$m->{"areaid=$4\ntype=$3\nappid=$2"}++;$n->{$1}++;})/;END{print "$_=$m->{$_}"for keys %$m;print "$_=$n->{$_}"for keys %$n}' file

复制代码

yu34po

mytestlog.gz (6.49 MB, 下载次数: 21)

2013-12-09 18:58 上传

点击文件名下载附件

回复 4# mcshell


  怎么传给你啊。今天忙了一天啊。。
上传到附件了

rubyish

数据无序
61.4.184.92 - - [05/Dec/2013:00:13:33 +0800] "GET /data/?areaid=101121405&appid=f63d32&date=201312042352&type=observe&key=lLHQDFH2fQR1IC2mxwlzv7uPBkE= HTTP/1.1" 200 10 "-" "SAMSUNG-Android" -
61.4.184.90 - - [05/Dec/2013:00:13:54 +0800] "GET /data/?areaid=101080801&type=observe&date=201312042352&appid=7c1429&key=cLX3kjDH4xin7TeXbA1jTfbKHnw= HTTP/1.1" 200 77 "-" "Dalvik/1.6.0 (Linux; U; Android 4.1.2; Coolpad 7268 Build/JZO54K)" -
61.4.184.92 - - [05/Dec/2013:00:13:54 +0800] "GET /data/?areaid=101320101%7C101340101&type=forecast&date=201312042352&appid=f63d32&key=xROq0%2FyUFz2d8ji6PatP%2Fes%2F%2BWQ%3D HTTP/1.1" 200 2346 "-" "SAMSUNG-Android" -

yu34po

回复 6# rubyish


    无序就没法弄了啊?

yu34po

回复 4# mcshell


    好像出来的结果不对。。没有times，其它的值也不对。

墨迹哥

额。这个玩意我只能说有些蛋腾。

如果是单纯的日志攻击分析的话，提供下我自己做的那个工具，你可以研究下。我是用正则做过滤条件的，https://github.com/smarttang/w3a_System
这个底层就是基于Perl写的。

1统计出每个用户请求的数量，(用户由appid字段的值来区分)
  appid 字段内容我没看到。。具体是在哪个部分能说说？
2每个用户请求的areaid和type,
  areaid和type可以尝试split切割日志后进行统计。
3每个IP访问的数量
  把Ip放入BS查询队列，每次check_item,如果有的话加1,没有则加入到check队列。

mcshell

回复 6# rubyish


    try

1. (?=.*appid=([^&]+))((?:\d{1,3}\.){3}\d{1,3}).*(?=.*areaid=([^&]+)).*type=([^&]+)

复制代码

{:3_201:}