论坛徽章:: 0

电梯直达

1楼 [收藏(0)] [报告]

发表于 2016-07-15 15:47 |只看该作者 |倒序浏览

比如我要收集系统日志，文件名 spark-master.log
这个文件是动态追加的，即现在可能只要100行，过一分钟就变成200行了；并且spark-master.log在达到100M大小后会重命名为spark-master.log.1
然后在生成一个spark-master.log 继续往这里写日志。

我现在想通过python来收集spark-master.log的内容，这个要怎么实现呢？
需要用到什么模块？
或这哪里有参考文档啊？

python, 动态, 如何

文库|博客

Linux_manne

丰衣足食

论坛徽章:: 5

2楼 [报告]

发表于 2016-07-15 17:26 |只看该作者

我以前做监控log 内容的时候写过类似, 说下思路, 首先根据文件状态st_mtime 来获取最新的是哪个文件(包在while 里).. 然后 read 该文件进来, 同时存下st_mtime 的值, 同时在将文件指针seek 到刚刚读到的地方, tell 出位置. 然后做你的事情, 然后log 文件一旦有变化, 通过上诉的状态变化获取, 再次读入,(当然是从你上次tell 出来的位置开始读入)... 如此循环处理....

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

lshlfyf

稍有积蓄

论坛徽章:: 0

3楼 [报告]

发表于 2016-07-26 11:34 |只看该作者

如果日志文件写的比较快，文件变化速度太快
不知道楼上方法是否可行

实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？

返回列表

Chinaunix › 论坛 › 程序设计 › Python › python 如何收集动态日志文件

python 如何收集动态日志文件 [复制链接]