每天5G的nginx日志，需要怎么分析?

Shell_HAT

回复 30# yu34po


    Perl版块在这里http://bbs.chinaunix.net/forum-25-1.html

yu34po

回复 31# Shell_HAT


    那边人气不足啊。

yu34po

回复 28# yestreenstars


    还有个问题，有些这样的请求结果:
61.4.184.93 - - [05/Dec/2013:06:03:49 +0800] "GET http://webapi.weather.com.cn/?x- ... yg840XL5dqjWqE%253D HTTP/1.1" 403 143 "-" "Dalvik/1.6.0 (Linux; U; Android 4.1.2; SCH-I829 Build/JZO54K)" 10.61.196.20
这样会导致出来的结果数据是乱的。

yestreenstars

回复 33# yu34po
这结果会被过滤掉的啊！

   

yu34po

回复 34# yestreenstars

关键是没过滤掉啊。。不知道为啥，结果出来是乱的。appid:  61.4.184.93 - - [05/Dec/2013:06:03:49 +0800] "GET http://webapi.weather.com.cn/?x- ... 840XL5dqjWqE%25253D HTTP/1.1" 403 143 "-" "Dalvik/1.6.0 (Linux; U; Android 4.1.2; SCH-I829 Build/JZO54K)" 10.61.196.20
times:  1
会有很多这样的结果。。而且那个awk脚本在服务器上处理日志，过了20分钟还没反应。。。

   

thinalai

回复 33# yu34po

先用awk '$9 != 403' 过滤掉那些不要的（或awk '$9 == 200'过滤想要的），再通过Pipe给下一个命令。
多用Pipe会快些
   

elu_ligao

1. $ ls -ltrh
   
2. -rw-rw-r-- 1 redhat redhat 3.2G Dec 12 14:56 tmp
   
3. 
   
4. $ wc -l tmp
   
5. 14365494 tmp
   
6. 
   
7. 1:
   
8. user    count
   
9. 1cfdf7  4774
   
10. 1cfdf9  16709
    
11. 1fde98  21483
    
12. 2cfdf7  9548
    
13. 2cfdf9  14322
    
14. 2fde98  14322
    
15. 3cfdf7  1185265
    
16. 3cfdf9  1166098
    
17. 4cfdf7  4774
    
18. 4cfdf9  7161
    
19. 4fde98  21483
    
20. 7cfdf7  1187576
    
21. 7cfdf9  3560341
    
22. 7fde98  7151639
    
23. ----------------------------------
    
24. 2:
    
25. uesr    areaid      type    count
    
26. 1cfdf7  101243503  observe  2387
    
27. 1cfdf7  101243533  observe  2387
    
28. 1cfdf9  101243506  observe  7161
    
29. 1cfdf9  101243536  observe  9548
    
30. 1fde98  329103323  observe  4774
    
31. 1fde98  329103325  observe  2387
    
32. 1fde98  329103333  observe  4774
    
33. 1fde98  329103334  observe  4774
    
34. 1fde98  329103335  observe  4774
    
35. 2cfdf7  101243503  observe  4774
    
36. 2cfdf7  101243533  observe  4774
    
37. 2cfdf9  101243506  observe  7161
    
38. 2cfdf9  101243536  observe  7161
    
39. 2fde98  329103323  observe  4774
    
40. 2fde98  329103333  observe  2387
    
41. 2fde98  329103334  observe  2387
    
42. 2fde98  329103335  observe  4774
    
43. 3cfdf7  101243533  observe  1185265
    
44. 3cfdf9  101243536  observe  1166098
    
45. 4cfdf7  101243503  observe  2387
    
46. 4cfdf7  101243533  observe  2387
    
47. 4cfdf9  101243506  observe  4774
    
48. 4cfdf9  101243536  observe  2387
    
49. 4fde98  329103323  observe  2387
    
50. 4fde98  329103324  observe  11935
    
51. 4fde98  329103325  observe  2387
    
52. 4fde98  329103333  observe  2387
    
53. 4fde98  329103335  observe  2387
    
54. 7cfdf7  101243503  observe  1187576
    
55. 7cfdf9  101243506  observe  2375152
    
56. 7cfdf9  101243536  observe  1185189
    
57. 7fde98  329103323  observe  1185189
    
58. 7fde98  329103324  observe  1211526
    
59. 7fde98  329103325  observe  1192350
    
60. 7fde98  329103333  observe  1187422
    
61. 7fde98  329103334  observe  1189963
    
62. 7fde98  329103335  observe  1185189
    
63. ----------------------------------
    
64. 3:
    
65. IP              count
    
66. 61.4.184.91     3591372
    
67. 61.4.184.92     5935265
    
68. 61.4.184.93     3605924
    
69. 61.4.184.94     1173259
    
70. 61.4.184.95     23870
    
71. 61.4.184.97     16709
    
72. 61.4.184.99     19096
    
73. 
    
74. real    29m2.388s
    
75. user    27m13.711s
    
76. sys     0m10.645s
    
77. 
    
78. 
    
79. 
    
80. time awk -F '&' -v fg="----------------------------------" '/areaid=/&&/appid=/&&/type=/{ip=gensub(/([^ ]*).*/, "\\1", 1, $1);areaid=gensub(/.*=(.*)/,"\\1",1,$1);a[ip]++;type=gensub(/type=(.*)/,"\\1",1,$2);appid=gensub(/appid=(.*)/,"\\1",1,$4);b[appid"\t"areaid"  "type]++;c[appid]++;}END{l=asorti(c,sc);print "1:\nuser\tcount";for(i=1;i<=l;++i){print sc[i]"\t"c[sc[i]]}; print fg;print "2:\nuesr\tareaid\t    type    count";l=asorti(b,sb);for(i=1;i<=l;++i)print sb[i]"  "b[sb[i]];print fg;print "3:\nIP\t\tcount";l=asorti(a,sa);for(i=1;i<=l;++i)print sa[i]"\t"a[sa[i]]}' tmp

复制代码

回复 35# yu34po

   

nbrr

我以前做过类似的
把所有web farm的日志集中到一台服务器上处理，为了节省空间和带宽，日志在原始服务器上已经压缩了。
因为日志太大，使用shell服务器的压力会很大。我当时是使用perl readline, 读一行处理一行