免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
› 论坛 › 程序设计 › Python › 菜鸟请教，python 读取实时更新的日志文件
12下一页
最近访问板块 发新帖
查看: 8233 | 回复: 12
打印 上一主题 下一主题

菜鸟请教，python 读取实时更新的日志文件 [复制链接]

NO_Getway

论坛徽章:
0
跳转到指定楼层
1楼 [收藏(0)] [报告]
发表于 2014-08-08 17:48 |只看该作者 |倒序浏览
现在有需求，要实时读取apache 的access日志然后分析日志。

这种实时增加的日志除了每次读取了记录位置的方法，

有没有其他方法可以直接获取增加的日志呢？  


求大神前辈们指教。
NO_Getway

论坛徽章:
0
2楼 [报告]
发表于 2014-08-11 09:16 |只看该作者
感觉帖子沉了，cu大神们指点下哇
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
q1208c

论坛徽章:
33
荣誉会员 日期:2011-11-23 16:44:17天秤座 日期:2014-08-26 16:18:20天秤座 日期:2014-08-29 10:12:18丑牛 日期:2014-08-29 16:06:45丑牛 日期:2014-09-03 10:28:58射手座 日期:2014-09-03 16:01:17寅虎 日期:2014-09-11 14:24:21天蝎座 日期:2014-09-17 08:33:55IT运维版块每日发帖之星 日期:2016-04-17 06:23:27操作系统版块每日发帖之星 日期:2016-04-18 06:20:00IT运维版块每日发帖之星 日期:2016-04-24 06:20:0015-16赛季CBA联赛之天津 日期:2016-05-06 12:46:59
3楼 [报告]
发表于 2014-08-11 09:29 |只看该作者
如果没有记录, 你从哪里来算是新增的日志呢?
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
icymirror

论坛徽章:
4
白羊座 日期:2013-11-05 10:26:09冥斗士 日期:2015-11-17 14:19:55白银圣斗士 日期:2015-11-17 15:13:0815-16赛季CBA联赛之新疆 日期:2016-04-01 09:10:58
4楼 [报告]
发表于 2014-08-11 09:56 |只看该作者
同样的问题，如果不记录之前的位置，那你怎么知道是读到哪里了？
当然，如果你想先备份一下原来的log，然后和log比较下也可以，但是本来可以通过记录读取位置就能快速解决的问题，这样反而慢了。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
NO_Getway

论坛徽章:
0
5楼 [报告]
发表于 2014-08-11 10:01 |只看该作者
回复 4# icymirror


    这样子感觉没有那么高大上啊

以为会有好的方法呢
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
icymirror

论坛徽章:
4
白羊座 日期:2013-11-05 10:26:09冥斗士 日期:2015-11-17 14:19:55白银圣斗士 日期:2015-11-17 15:13:0815-16赛季CBA联赛之新疆 日期:2016-04-01 09:10:58
6楼 [报告]
发表于 2014-08-11 10:56 |只看该作者
回复 5# NO_Getway
实际上没有那么多特别的方法。
不过如果你不计后果的话，也许可以用一个不是很负责的方法(因为有可能会出问题)：
每次读取完内容，把当前的log的内容清空，把读取的内容追加到一个自己用来保留历史log的地方。下次就只需要全部读取就可以了。
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
q1208c

论坛徽章:
33
荣誉会员 日期:2011-11-23 16:44:17天秤座 日期:2014-08-26 16:18:20天秤座 日期:2014-08-29 10:12:18丑牛 日期:2014-08-29 16:06:45丑牛 日期:2014-09-03 10:28:58射手座 日期:2014-09-03 16:01:17寅虎 日期:2014-09-11 14:24:21天蝎座 日期:2014-09-17 08:33:55IT运维版块每日发帖之星 日期:2016-04-17 06:23:27操作系统版块每日发帖之星 日期:2016-04-18 06:20:00IT运维版块每日发帖之星 日期:2016-04-24 06:20:0015-16赛季CBA联赛之天津 日期:2016-05-06 12:46:59
7楼 [报告]
发表于 2014-08-11 11:03 |只看该作者
回复 5# NO_Getway

当然有更高大上的办法.

修改 apache 的 log mod, 你想怎么读都可以. 还可以实时发送到其它的服务器.
   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
icymirror

论坛徽章:
4
白羊座 日期:2013-11-05 10:26:09冥斗士 日期:2015-11-17 14:19:55白银圣斗士 日期:2015-11-17 15:13:0815-16赛季CBA联赛之新疆 日期:2016-04-01 09:10:58
8楼 [报告]
发表于 2014-08-11 12:16 |只看该作者
回复 7# q1208c
学习了！:wink:
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
NO_Getway

论坛徽章:
0
9楼 [报告]
发表于 2014-08-11 16:23 |只看该作者
回复 7# q1208c


    这个方法倒是可以，解析udp日志倒也简单。
遇到不可配置的时候呢？
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
q1208c

论坛徽章:
33
荣誉会员 日期:2011-11-23 16:44:17天秤座 日期:2014-08-26 16:18:20天秤座 日期:2014-08-29 10:12:18丑牛 日期:2014-08-29 16:06:45丑牛 日期:2014-09-03 10:28:58射手座 日期:2014-09-03 16:01:17寅虎 日期:2014-09-11 14:24:21天蝎座 日期:2014-09-17 08:33:55IT运维版块每日发帖之星 日期:2016-04-17 06:23:27操作系统版块每日发帖之星 日期:2016-04-18 06:20:00IT运维版块每日发帖之星 日期:2016-04-24 06:20:0015-16赛季CBA联赛之天津 日期:2016-05-06 12:46:59
10楼 [报告]
发表于 2014-08-11 16:27 |只看该作者
回复 9# NO_Getway

"不可配置的时候" 是指的什么?
   
实战分享：从技术角度谈机器学习入门| 【大话IT】RadonDB低门槛向MySQL集群下战书 | ChinaUnix打赏功能已上线！ | 新一代分布式关系型数据库RadonDB知多少？
12下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

  

北京盛拓优讯信息技术有限公司. 版权所有 京ICP备16024965号-6 北京市公安局海淀分局网监中心备案编号：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年举报专区
中国互联网协会会员  联系我们：huangweiwei@itpub.net
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP