Chinaunix

标题: 菜鸟请教，python 读取实时更新的日志文件 [打印本页]

作者: NO_Getway 时间: 2014-08-08 17:48
标题: 菜鸟请教，python 读取实时更新的日志文件
现在有需求，要实时读取apache 的access日志然后分析日志。

这种实时增加的日志除了每次读取了记录位置的方法，

有没有其他方法可以直接获取增加的日志呢？

求大神前辈们指教。

作者: NO_Getway 时间: 2014-08-11 09:16
感觉帖子沉了，cu大神们指点下哇

作者: q1208c 时间: 2014-08-11 09:29
如果没有记录, 你从哪里来算是新增的日志呢?

作者: icymirror 时间: 2014-08-11 09:56
同样的问题，如果不记录之前的位置，那你怎么知道是读到哪里了？
当然，如果你想先备份一下原来的log，然后和log比较下也可以，但是本来可以通过记录读取位置就能快速解决的问题，这样反而慢了。

作者: NO_Getway 时间: 2014-08-11 10:01
回复 4# icymirror

这样子感觉没有那么高大上啊

以为会有好的方法呢

作者: icymirror 时间: 2014-08-11 10:56
回复 5# NO_Getway
实际上没有那么多特别的方法。
不过如果你不计后果的话，也许可以用一个不是很负责的方法(因为有可能会出问题)：
每次读取完内容，把当前的log的内容清空，把读取的内容追加到一个自己用来保留历史log的地方。下次就只需要全部读取就可以了。

作者: q1208c 时间: 2014-08-11 11:03
回复 5# NO_Getway

当然有更高大上的办法.

修改 apache 的 log mod, 你想怎么读都可以. 还可以实时发送到其它的服务器.

作者: icymirror 时间: 2014-08-11 12:16
回复 7# q1208c
学习了！:wink:

作者: NO_Getway 时间: 2014-08-11 16:23
回复 7# q1208c

这个方法倒是可以，解析udp日志倒也简单。
遇到不可配置的时候呢？

作者: q1208c 时间: 2014-08-11 16:27
回复 9# NO_Getway

"不可配置的时候" 是指的什么?

作者: NO_Getway 时间: 2014-08-11 17:55
回复 10# q1208c

我只是联想到即不能配置日志服务器，也不支持写入到syslog（不一定是apache，也可能是其他东东），局限性就出来了。

作者: q1208c 时间: 2014-08-11 19:00
回复 11# NO_Getway

那如果能支持管道也可以. 如果管道也不支持, 那只能在外面定期的滚动日志, 然后, 再处理相应的日志.

作者: Ly_stu 时间: 2014-08-14 16:08
实时分析，你准备这个python脚本是基于计划任务吗，若是这样的话，依赖时间戳去分析不是很好吗，
我现在采用依赖时间戳，记录行号，将日志导入到新文件再进行分析操作，
回复 1# NO_Getway

欢迎光临 Chinaunix (http://bbs.chinaunix.net/)