免费注册	查看新帖 \|


平台论坛博客文库

› 论坛 › 程序设计 › Python › 日志分析，怎样将每5分钟内的数据汇总？

最近访问板块

发新帖

查看: 7294 | 回复: 6

上一主题

下一主题

日志分析，怎样将每5分钟内的数据汇总？ [复制链接]

论坛徽章:: 1

IT运维版块每日发帖之星
日期:2016-02-27 06:20:00

电梯直达

跳转到指定楼层

1楼 [收藏(0)] [报告]

发表于 2010-09-09 22:25 |只看该作者 |倒序浏览

有一堆的web log文件，需要进行数据统计，如下
192.168.33.46 - - [06/Jun/2010:00:01:00 +0800] "GET /output/path/8875 HTTP/1.1" 206 15709 "
192.168.33.107 - - [06/Jun/2010:00:03:00 +0800] "GET /output/path/8875 HTTP/1.1" 206 15709 "
172.58.2.46 - - [06/Jun/2010:00:00:06 +0800] "GET /output/path/8875 HTTP/1.1" 206 15709 "
10.133.38.4 - - [06/Jun/2010:00:00:12 +0800] "GET /output/path/8875 HTTP/1.1" 206 15709 "

这里需要将这一个月里每一天的所有数据，每隔5分钟的数据进行汇总分析，
如
06/Jun/2010:00:00 ～ 06/Jun/2010:00:04
06/Jun/2010:00:05 ～ 06/Jun/2010:00:09
....

这样将数据按时间分类

原先按每天汇总算就比较简单，正则后取日期即可，后改成没5分钟统计，头就大了。。。
没想到好的方法，各位大大帮帮忙，谢谢！

文库|博客

论坛徽章:: 1

IT运维版块每日发帖之星
日期:2016-02-27 06:20:00

2楼 [报告]

发表于 2010-09-10 14:17 |只看该作者

描述的不够清楚？还是问题过于简单？
各位大大，人呢？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

3楼 [报告]

发表于 2010-09-10 15:28 |只看该作者

按行读取，然后判断时间呗。

第一行时间比如是8：20，在循环里判断，是不是到大于8：25了。

如此循环

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

4楼 [报告]

发表于 2010-09-12 10:34 |只看该作者

写一个time的函数，求出从任意时刻到前五分钟的时间段。然后匹配日志，统计

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

5楼 [报告]

发表于 2010-09-12 21:44 |只看该作者

Python for unix & linux system administration 一书的第14章有一节专门讲apache log的处理，你可以看看，对你的问题应该有所帮助。

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

6楼 [报告]

发表于 2010-09-14 20:19 |只看该作者

回复 5# mlsx

兄台，这本书咋样？有中文版不？

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

论坛徽章:: 0

7楼 [报告]

发表于 2010-09-17 12:55 |只看该作者

回复 mlsx

兄台，这本书咋样？有中文版不？
starzhestarzhe 发表于 2010-09-14 20:19

已经出版了

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

发新帖

Chinaunix › 论坛 › 程序设计 › Python › 日志分析，怎样将每5分钟内的数据汇总？

北京盛拓优讯信息技术有限公司. 版权所有京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP