每天5G的nginx日志，需要怎么分析?

yu34po

RT,要分析出每IP的访问数量和每IP的访问内容。
61.4.184.92 - - [05/Dec/2013:00:10:05 +0800] "GET /data/?areaid=329103324&type=observe&date=201312042349&appid=7fde98&key=BUyFU0GyXhzGNDIFEDMQaortggDQ= HTTP/1.1" 200 76 "-" "Dalvik/1.6.0 (Linux; U; Android 4.1.1; MI 2S MIUI/JLB23.0)" -
61.4.184.91 - - [05/Dec/2013:00:10:05 +0800] "GET /data/?areaid=101243506&type=observe&date=201301012336&appid=7cfdf9&key=oMqeris3J3IZ3CHkbOKd06X5NYg= HTTP/1.1" 200 77 "-" "Dalvik/1.4.0 (Linux; U; Android 4.0; US900G Build/GRK39F)" -
如示例数据中
1统计出每个用户请求的数量，(用户由appid字段的值来区分)
2每个用户请求的areaid和type,
3每个IP访问的数量
每天的日志有5G或者更多，这样的数据怎么处理?

这个冬天不冷

这么大文件，。。。。能切成小文件 来处理

lkk_super

这个日志是累加的么？
每一小时处理上一个小时的数据可以么？

yu34po

回复 3# lkk_super

怎么一小时处理一次?这个是基于日期来处理的?假如的昨天的数据结果今天进行分析来执行对应的策略，一小时也生成170M吧?一天的处理出来再进行汇总也可以，
反正一天的请求是1亿条，每成小时也得4-500万了，这个用shell能处理得来吗？关键是我还不会写这样的....谁教一下。。网上也没找到现成的工具
   

yestreenstars

根据你提供的数据：

1. [root@localhost ~]# awk '{appid=gensub(/.*appid=([^&]*).*/,"\\1",1);areaid=gensub(/.*areaid=([^&]*).*/,"\\1",1);type=gensub(/.*type=([^&]*).*/,"\\1",1);IP=$1;a[appid]++;b[appid]=b[appid]?b[appid]" "areaid:areaid;c[appid]=c[appid]?c[appid]" "type:type;d[IP]++}END{for(i in a){printf "appid: %s\nnumber of request: %d\nareaid of request: %s\ntype of request: %s\n\n",i,a[i],b[i],c[i]}for(i in d)print i,d[i]}' i
   
2. appid: 7cfdf9
   
3. number of request: 1
   
4. areaid of request: 101243506
   
5. type of request: observe
   
6. 
   
7. appid: 7fde98
   
8. number of request: 1
   
9. areaid of request: 329103324
   
10. type of request: observe
    
11. 
    
12. 61.4.184.91 1
    
13. 61.4.184.92 1
    
14. [root@localhost ~]#

复制代码

seesea2517

有点像这个：
http://bbs.chinaunix.net/forum.php?mod=viewthread&tid=4086457

第二题：

    请编写脚本监控日志文件中的关键字<Error>，一旦发现该关键字就马上发邮件给admin@ChinaUnix.net，样例数据见附件wls_ms1.out，要求如下：
    （1）假设该脚本在crontab中每10分钟执行一次，每次运行时只检测最近十分钟之内的日志里面有没有出现关键字，十分钟之前的日志不要误报。
    （2）样例数据仅供参考，实际日志文件比较大（比如1GB），请充分考虑代码效率。
    （3）应用程序会实时地更新这个日志文件，因此不允许对该文件进行分割。

yu34po

回复 5# yestreenstars


    先试试，我这下载的数据4.7G，还没拖到虚拟机里去呢。

yu34po

回复 5# yestreenstars


    虚拟机里面2G内存处理了5分钟无结果。

yu34po

我去，这玩意处理10分钟无果啊。

yestreenstars

回复 9# yu34po
那要尝试用perl来处理了，我待会有空给你写个~