每天5G的nginx日志，需要怎么分析?

Shell_HAT

回复 8# yu34po


2G内存的虚拟机你能指望它多快？
找一台测试环境的大内存服务器吧

yu34po

回复 10# yestreenstars

那个脚本好多重复的数据啊。。。

   

lkk_super

回复 4# yu34po


    基于时间，每个小时读一次这个文件只统计上一个小时的数据，然后一天过后再汇总
   

yestreenstars

回复 12# yu34po
你想要什么格式的结果？

   

fire_cpp

如果不要求实时的话，用shell脚本处理还是不错的，编程很方便。

配合parallel命令，利用多核处理，快很多。

这么大的文件，为什么要用虚拟机？如果host是windows，用Ｃ＃或者perl、python写程序应该也不难啊，不一定非得*nix。win还是首推Ｃ＃用多线程，如果是python的话不要用多线程，要用多进程。

yu34po

回复 15# fire_cpp


不需要实时啊，关键是现在比较着急，不知道咋弄好。。。5G的数据,shell能处理吗?我觉得半小时内处理完都OK.
   

yu34po

回复 14# yestreenstars
大哥我能加你Q吗?我这问题不会弄了。。就是你那边显示的抓的数据类型有许多重复的。去掉这些重复的就行了。type字段
还有个问题就是这个处理得特别慢，不知道是不是我虚拟机的问题。


   

yestreenstars

回复 17# yu34po
试试这个去重复版的会不会快些~

1. #!/bin/awk -f
   
2. 
   
3. {
   
4.         appid=gensub(/.*appid=([^&]*).*/,"\\1",1);
   
5.         areaid=gensub(/.*areaid=([^&]*).*/,"\\1",1);
   
6.         type=gensub(/.*type=([^&]*).*/,"\\1",1);
   
7.         IP=$1;
   
8. 
   
9.         a[appid]++;
   
10.         if(!x[appid,areaid]++)b[appid]=b[appid]?b[appid]" "areaid:areaid;
    
11.         if(!y[appid,type]++)c[appid]=c[appid]?c[appid]" "type:type;
    
12.         d[IP]++;
    
13. }
    
14. 
    
15. END{
    
16.         for(i in a)printf "appid:\t%s\ntimes:\t%d\nareaid:\t%s\ntype:\t%s\n\n",i,a[i],b[i],c[i];
    
17.         for(i in d)print i,d[i];
    
18. }

复制代码

yu34po

回复 18# yestreenstars


    这个好像更不对呀。。

expert1

这不是简单的map/reduce模型吗？一个小时处理一次，然后再aggregate.对服务器来说5G也不是多大的数据。