Chinaunix

标题: 日志分析，怎样将每5分钟内的数据汇总？ [打印本页]

作者: harmful_001 时间: 2010-09-09 22:25
标题: 日志分析，怎样将每5分钟内的数据汇总？
有一堆的web log文件，需要进行数据统计，如下
192.168.33.46 - - [06/Jun/2010:00:01:00 +0800] "GET /output/path/8875 HTTP/1.1" 206 15709 "
192.168.33.107 - - [06/Jun/2010:00:03:00 +0800] "GET /output/path/8875 HTTP/1.1" 206 15709 "
172.58.2.46 - - [06/Jun/2010:00:00:06 +0800] "GET /output/path/8875 HTTP/1.1" 206 15709 "
10.133.38.4 - - [06/Jun/2010:00:00:12 +0800] "GET /output/path/8875 HTTP/1.1" 206 15709 "

这里需要将这一个月里每一天的所有数据，每隔5分钟的数据进行汇总分析，
如
06/Jun/2010:00:00 ～ 06/Jun/2010:00:04
06/Jun/2010:00:05 ～ 06/Jun/2010:00:09
....

这样将数据按时间分类

原先按每天汇总算就比较简单，正则后取日期即可，后改成没5分钟统计，头就大了。。。
没想到好的方法，各位大大帮帮忙，谢谢！

作者: harmful_001 时间: 2010-09-10 14:17
描述的不够清楚？还是问题过于简单？
各位大大，人呢？

作者: smallfish_xy 时间: 2010-09-10 15:28
按行读取，然后判断时间呗。

第一行时间比如是8：20，在循环里判断，是不是到大于8：25了。

如此循环

作者: skyeydemon 时间: 2010-09-12 10:34
写一个time的函数，求出从任意时刻到前五分钟的时间段。然后匹配日志，统计

作者: mlsx 时间: 2010-09-12 21:44
Python for unix & linux system administration 一书的第14章有一节专门讲apache log的处理，你可以看看，对你的问题应该有所帮助。

作者: starzhestarzhe 时间: 2010-09-14 20:19
回复 5# mlsx

兄台，这本书咋样？有中文版不？

作者: smallfish_xy 时间: 2010-09-17 12:55

回复 mlsx

兄台，这本书咋样？有中文版不？
starzhestarzhe 发表于 2010-09-14 20:19

已经出版了

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)