• 人民网驻阿尔及利亚记者报道集 2018-02-19
  • 党务问答:党组与党委有何区别? 2018-02-19
  • MINI车联网服务3月起升级至4G网络 增加新功能 2018-02-18
  • 以色列警方:已有足够的证据可以用于起诉以总理 2018-02-18
  • 冬奥会短节目第四 金博洋:伤病令我更强大 2018-02-18
  • 天津市北辰区委书记冯卫华:强化政治担当 把主体责任落实落细 2018-02-17
  • 正月初一客流继续回落 全国铁路预计发送旅客389万人次 2018-02-17
  • 送别余光中:诗人虽远行,乡愁永流传 2018-02-17
  • 集团原董事长违纪被查 人员伤亡事故频发 湖北宜化:去年亏损额超过公司市值 2018-02-17
  • 图片故事:“六个人”的火车站 2018-02-16
  • 【马来西亚房产】雅诗阁之星十年包租可续租! ——凤凰网房产马来西亚 2018-02-16
  • 大量顺差在中国,多数利润归美国 2018-02-16
  • 河北今年将削减煤炭消费500万吨 2018-02-16
  • 开创生态文明新时代 绘出美丽中国新图景 2018-02-15
  • 以色列警方:已有足够的证据可以用于起诉以总理 2018-02-15
  • 日志收集工具 logpipe 更新至 0.9.0 版本

    栏目: 软件资讯 发布于: 2017-12-20 12:20:02

    日志收集工具 logpipe 0.9.0 已发布。更新如下:

    0.9.0 2017-12-19 calvin

    ????*?logpipe日志自动补充后缀".(24小时制钟点)",每天循环

    0.8.0 2017-12-18 calvin

    ????*?再次修正了文件大小转档在长打开文件应用模式中的一个遗漏目标文件末尾的问题
    ????*?输出描述字不可用时及时通知插件

    0.7.0 2017-12-16 calvin

    ????*?logpipe-input-file配置exec_before_rotating和exec_after_rotating命令中可以使用环境变量LOGPIPE_ROTATING_PATHNAME了
    ????*?修正了文件大小转档在长打开文件应用模式中的一个遗漏目标文件末尾的问题
    ????*?start_for_full_dose改名为start_once_for_full_dose,装载参数改从环境变量中取,由logpipe?--start-once-for-env?"(key)?(value)"导入
    ????*?调整了一些日志的等级

    0.6.0 2017-12-15 calvin

    ????*?logpipe-input-file新增配置项exec_before_rotating,rotate_size,exec_after_rotating
    ????*?logpipe命令行参数新增公共配置项机制--public-plugin-config-item-,logpipe-input-file新增配置项start_for_full_dose

    0.5.0 2017-12-14 calvin

    ????*?重构设计,采用插件模型

    0.4.0 2017-12-09 calvin

    ????*?新增配置参数comm.compress_algorithm用于压缩传输

    0.3.0 2017-12-08 calvin

    ????*?新增配置参数rotate.file_rotate_max_size用于文件名转档功能

    0.2.0 2017-12-05 calvin

    ????*?重构设计,抽象统一采集端、转发端和归集端

    0.1.0 2017-12-02 calvin

    ????*?完成采集端基本功能
    ????*?完成归集端基本功能
    ????*?测试echo,mv,vi对客户端监控目录的反应

    0.0.0 2017-11-26 calvin

    ????*?创建

    logpipe是一个分布式、高可用的用于采集、传输、对接落地的日志工具,采用了插件风格的框架结构设计,支持多输入多输出按需配置组件用于流式日志收集架构,无第三方依赖。

    logpipe概念朴实、使用方便、配置简练,没有如sink等一大堆新名词。

    logpipe由若干个input、事件总线和若干个output组成。启动logpipe管理进程(monitor),派生一个工作进程(worker),监控工作进程崩溃则重启工作进程。工作进程装载配置加载若干个input插件和若干个output插件,进入事件循环,任一input插件产生消息后输出给所有output插件。

    logpipe自带了4个插件(今后将开发更多插件),分别是:

    • logpipe-input-file 用inotify异步实时监控日志目录,一旦有文件新建或文件增长事件发生(注意:不是周期性轮询文件修改时间和大?。?,立即捕获文件名和读取文件追加数据。该插件拥有文件大小转档功能,用以替代应用日志库对应功能,提高应用日志库写日志性能。该插件支持数据压缩。

    • logpipe-output-file 一旦输入插件有消息产生后用相同的文件名落地文件数据。该插件支持数据解压。

    • logpipe-input-tcp 创建TCP服务侦听端,接收客户端连接,一旦客户端连接上有新消息到来,立即读取。

    • logpipe-output-tcp 创建TCP客户端,连接服务端,一旦输入插件有消息产生后输出到该连接。

    使用者可根据自身需求,按照插件开发规范,开发定制插件,如IBMMQ输入插件、HDFS输出插件等。

    logpipe配置采用JSON格式,层次分明,编写简洁,如示例:

    {
    	"log"?:?
    	{
    		"log_file"?:?"/tmp/logpipe_case1_collector.log"?,
    		"log_level"?:?"INFO"
    	}?,
    	
    	"inputs"?:?
    	[
    		{?"plugin":"so/logpipe-input-file.so"?,?"path":"/home/calvin/log"?,?"compress_algorithm":"deflate"?}
    	]?,
    	
    	"outputs"?:?
    	[
    		{?"plugin":"so/logpipe-output-tcp.so"?,?"ip":"127.0.0.1"?,?"port":10101?}
    	]
    }

    源码托管地址 :?码云Gitee、GitHub

    作者邮箱 :?网易、Gmail


    【声明】文章转载自:开源中国社区 [http://www.rocksun.cn]

    本站文章除注明转载外,均为本站原创或编译?;队魏涡问降淖?,但请务必注明出处。
    转载请注明:文章转载自 七星彩票平台
    本文标题:日志收集工具 logpipe 更新至 0.9.0 版本
    IT技术书籍推荐:
    Python学习手册(第4版)
    Python学习手册(第4版)
    鲁特兹 (Mark Lutz) (作者), 李军 (译者), 刘红伟 (译者), 等 (译者)
    《Python学习手册(第4版)》内容简介:学习Python的主要内建对象类型:数字、列表和字典。使用Python语句创建和处理对象,并且学习Python的通用语法模型。使用函数构造和重用代码,函数是Python的基本过程工具。学习Python??椋悍庾坝锞?、函数以及其他工具,以便构建较大的组件。学习Python的面向对象编程工具,用于组织程序代码。学习异常处理模型,以及用于编写较大程序的开发工具。了解高级Python工具,如装饰器、描述器、元类和Unicode处理等。