免费注册 查看新帖 |

ChinaUnix.net

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 1833 | 回复: 0

[C] [原创][开源]日志收集工具 logpipe 更新至 0.16.1 版本 [复制链接]

论坛徽章:
1
2015年辞旧岁徽章
日期:2015-03-03 16:54:15
发表于 2018-02-27 21:44 |显示全部楼层
0.16.1        2018-01-16    calvin
        * 修正了插件logpipe-input-file的转档时重复读取问题

0.16.0        2018-01-15    calvin
        * 优化了插件logpipe-output-ek性能,性能提高了一倍
        * 插件logpipe-input-file新增配置参数max_append_count,均匀处理所有文件增长事件
        * 扩大了日志缓冲区

0.15.0        2018-01-03    calvin
        * 插件logpipe-output-tcp支持轮询算法的负载均衡输出

0.14.2        2018-01-03    calvin
        * 插件logpipe-output-ek新增配置参数iconv_from和iconv_to用于转换编码
        * 插件logpipe-output-ek连接ElasticSearch改为长连接模式,以提高性能

0.14.1        2017-12-30    calvin
        * 插件logpipe-input-file配置参数file改成file
        * 插件logpipe-input-file新增配置参数exclude_files用于过滤文件名

0.14.0        2017-12-29    calvin
        * 新增插件logpipe-output-ek,自带系统(CPU、内存、硬盘、网络)监控示例

0.13.0        2017-12-27    calvin
        * 新增插件logpipe-output-hdfs

0.12.0        2017-12-22    calvin
        * 插件logpipe-input-file新增配置参数file,用于过滤采集文件名

0.11.0        2017-12-21    calvin
        * 新增插件logpipe-input-exec用于执行长命令捕获输出

0.10.1        2017-12-21    calvin
        * 修正了logpipe自身日志转档后没有清空循环日志的问题

0.10.0        2017-12-20    calvin
        * logpipe-output-file新增配置参数rotate_size,exec_after_rotating
        * logpipe日志大小转档后缀改为"-YYYYMMDD_hhmmss_06us"

-------------------------------------------------------------------------

# 1. 概述

在集群化环境里,日志采集是重要基础设施。

开源主流解决方案是基于flume-ng,但在实际使用中发现flume-ng存在诸多问题,比如flume-ng的spoolDir采集器只能对文件名转档后的大小不能变化的最终日志文件进行采集,不能满足采集时效性要求,如果要采集正在被不断追加的日志文件,只能用exec采集器搭配tail -F命令,但tail -F命令又不能通配目标目录中将来新增的未知文件名。其它解决方案如logstash由于是JAVA开发,内存占用和性能都不能达到最优。

作为一个日志采集的本地代理,内存占用应该小而受控,性能应该高效,耗费CPU低对应用影响尽可能小,要能异步实时追踪日志文件增长,某些应用会在目标目录下产生多个日志文件甚至现在不能确定将来的日志文件名,架构上要支持多输入多输出流式日志采集传输,为了达成以上需求,我研究了所需技术,评估实现难度并不高,就自研了logpipe。

logpipe是一个分布式、高可用的用于采集、传输、对接落地的日志工具,采用了插件风格的框架结构设计,支持多输入多输出按需配置组件用于流式日志收集架构,无第三方依赖。

logpipe的一种用法是能异步实时监控集群里的所有日志目录,一旦有文件新增或追加写,立即采集并传输到大存储上以相同日志文件名合并落地,或者写入HDFS。异步意味着不影响应用输出日志的性能,实时意味着一有日志立即采集,很多日志采集工具如flume-ng、logstash介绍文档通篇不提采集方式是否实时还是周期性的,这很关键。

logpipe.png

logpipe概念朴实、使用方便、配置简练,没有如sink等一大堆新名词。

logpipe由若干个input、事件总线和若干个output组成。启动logpipe管理进程(monitor),派生一个工作进程(worker),监控工作进程崩溃则重启工作进程。工作进程装载配置加载若干个input插件和若干个output插件,进入事件循环,任一input插件产生消息后输出给所有output插件。

logpipe自带了5个插件(今后将开发更多插件),分别是:
* logpipe-input-file 用inotify异步实时监控日志目录,一旦有文件新建或文件增长事件发生(注意:不是周期性轮询文件修改时间和大小),立即捕获文件名和读取文件追加数据。该插件拥有文件大小转档功能,用以替代应用日志库对应功能,提高应用日志库写日志性能。该插件支持数据压缩。
* logpipe-output-file 一旦输入插件有消息产生后用相同的文件名落地文件数据。该插件支持数据解压。
* logpipe-input-tcp 创建TCP服务侦听端,接收客户端连接,一旦客户端连接上有新消息到来,立即读取。
* logpipe-output-tcp 创建TCP客户端,连接服务端,一旦输入插件有消息产生后输出到该连接。
* logpipe-input-exec 执行长命令并捕获输出
* logpipe-output-hdfs 一旦输入插件有消息产生后用相同的文件名落地到HDFS中。该插件支持数据解压。

使用者可根据自身需求,按照插件开发规范,开发定制插件,如IBMMQ输入插件、HDFS输出插件等。

logpipe配置采用JSON格式,层次分明,编写简洁,如示例:

  1. {
  2.     "log" :
  3.     {
  4.         "log_file" : "/tmp/logpipe_case1_collector.log" ,
  5.         "log_level" : "INFO"
  6.     } ,
  7.    
  8.     "inputs" :
  9.     [
  10.         { "plugin":"so/logpipe-input-file.so" , "path":"/home/calvin/log" , "compress_algorithm":"deflate" }
  11.     ] ,
  12.    
  13.     "outputs" :
  14.     [
  15.         { "plugin":"so/logpipe-output-tcp.so" , "ip":"127.0.0.1" , "port":10101 }
  16.     ]
  17. }
复制代码


您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

基于案例的 SQL 优化实战训练营

讲师:中电福富特级专家梁敬彬,参与本次课程培训,你将收获:
1. 能编写出较为高效的 SQL;
2. 能解决70%以上的数据库常见优化问题;
3. 能得到老师提供的高效的相关工具和解决方案;
4. 能举一反三,收获不仅仅是 SQL 优化。
现在购票享受8.8折优惠!
----------------------------------------
优惠时间:2019年3月20日前

大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP