• 3名中国游客在瑞典遭粗暴对待 外交部敦促瑞方重视中方关切 2018-10-21
  • 国足20-0大胜!女梅西6球,女C罗轰5球,男足才赢19-0 2018-10-21
  • 消协提醒:春节预订酒店有技巧 预付卡消费需谨慎 2018-10-20
  • 陈敏尔唐良智会见传化集团董事长徐冠巨 2018-10-20
  • 扫黑除恶利剑高悬 前8月榕查处违法采砂案件93起 2018-10-20
  • 不能让所谓的收视率愚弄观众 2018-10-18
  • 新希望!中超19岁新星半年增重十斤 曾戏耍恒大两国脚 2018-10-17
  • 迎丰收 晒丰收 庆丰收 2018-10-15
  • “捂脸表情”被注册成商标?申请人不认为商标侵权 2018-10-15
  • 战巡南海、绕岛巡航…空军有“飞出去”的主心骨 2018-10-14
  • 幼儿园要求家长写一万字读后感:不能这样玩家长|幼儿园|家长-教育时讯 2018-10-13
  • 中国故宫文物展在希腊举行 2018-10-13
  • 車·晓 第26期 車企官方降价真相幾何? 2018-10-12
  • 宝沃总裁杨嵩:曾和奔驰宝马同水平 已不能同日而语 2018-10-11
  • 新时代党员干部要有更大的担当和作为 2018-10-10
  • 日志收集工具 logpipe 更新至 0.9.0 版本

    栏目: 软件资讯 发布于: 2017-12-20 12:20:02

    日志收集工具 logpipe 0.9.0 已发布。更新如下:

    0.9.0 2017-12-19 calvin

    ????*?logpipe日志自动补充后缀".(24小时制钟点)",每天循环

    0.8.0 2017-12-18 calvin

    ????*?再次修正了文件大小转档在长打开文件应用模式中的一个遗漏目标文件末尾的问题
    ????*?输出描述字不可用时及时通知插件

    0.7.0 2017-12-16 calvin

    ????*?logpipe-input-file配置exec_before_rotating和exec_after_rotating命令中可以使用环境变量LOGPIPE_ROTATING_PATHNAME了
    ????*?修正了文件大小转档在长打开文件应用模式中的一个遗漏目标文件末尾的问题
    ????*?start_for_full_dose改名为start_once_for_full_dose,装载参数改从环境变量中取,由logpipe?--start-once-for-env?"(key)?(value)"导入
    ????*?调整了一些日志的等级

    0.6.0 2017-12-15 calvin

    ????*?logpipe-input-file新增配置项exec_before_rotating,rotate_size,exec_after_rotating
    ????*?logpipe命令行参数新增公共配置项机制--public-plugin-config-item-,logpipe-input-file新增配置项start_for_full_dose

    0.5.0 2017-12-14 calvin

    ????*?重构设计,采用插件模型

    0.4.0 2017-12-09 calvin

    ????*?新增配置参数comm.compress_algorithm用于压缩传输

    0.3.0 2017-12-08 calvin

    ????*?新增配置参数rotate.file_rotate_max_size用于文件名转档功能

    0.2.0 2017-12-05 calvin

    ????*?重构设计,抽象统一采集端、转发端和归集端

    0.1.0 2017-12-02 calvin

    ????*?完成采集端基本功能
    ????*?完成归集端基本功能
    ????*?测试echo,mv,vi对客户端监控目录的反应

    0.0.0 2017-11-26 calvin

    ????*?创建

    logpipe是一个分布式、高可用的用于采集、传输、对接落地的日志工具,采用了插件风格的框架结构设计,支持多输入多输出按需配置组件用于流式日志收集架构,无第三方依赖。

    logpipe概念朴实、使用方便、配置简练,没有如sink等一大堆新名词。

    logpipe由若干个input、事件总线和若干个output组成。启动logpipe管理进程(monitor),派生一个工作进程(worker),监控工作进程崩溃则重启工作进程。工作进程装载配置加载若干个input插件和若干个output插件,进入事件循环,任一input插件产生消息后输出给所有output插件。

    logpipe自带了4个插件(今后将开发更多插件),分别是:

    • logpipe-input-file 用inotify异步实时监控日志目录,一旦有文件新建或文件增长事件发生(注意:不是周期性轮询文件修改时间和大?。?,立即捕获文件名和读取文件追加数据。该插件拥有文件大小转档功能,用以替代应用日志库对应功能,提高应用日志库写日志性能。该插件支持数据压缩。

    • logpipe-output-file 一旦输入插件有消息产生后用相同的文件名落地文件数据。该插件支持数据解压。

    • logpipe-input-tcp 创建TCP服务侦听端,接收客户端连接,一旦客户端连接上有新消息到来,立即读取。

    • logpipe-output-tcp 创建TCP客户端,连接服务端,一旦输入插件有消息产生后输出到该连接。

    使用者可根据自身需求,按照插件开发规范,开发定制插件,如IBMMQ输入插件、HDFS输出插件等。

    logpipe配置采用JSON格式,层次分明,编写简洁,如示例:

    {
    	"log"?:?
    	{
    		"log_file"?:?"/tmp/logpipe_case1_collector.log"?,
    		"log_level"?:?"INFO"
    	}?,
    	
    	"inputs"?:?
    	[
    		{?"plugin":"so/logpipe-input-file.so"?,?"path":"/home/calvin/log"?,?"compress_algorithm":"deflate"?}
    	]?,
    	
    	"outputs"?:?
    	[
    		{?"plugin":"so/logpipe-output-tcp.so"?,?"ip":"127.0.0.1"?,?"port":10101?}
    	]
    }

    源码托管地址 :?码云Gitee、GitHub

    作者邮箱 :?网易、Gmail


    【声明】文章转载自:开源中国社区 [http://www.rocksun.cn]

    本站文章除注明转载外,均为本站原创或编译?;队魏涡问降淖?,但请务必注明出处。
    转载请注明:文章转载自 七星彩票平台
    本文标题:日志收集工具 logpipe 更新至 0.9.0 版本
    IT技术书籍推荐:
    Python学习手册(第4版)
    Python学习手册(第4版)
    鲁特兹 (Mark Lutz) (作者), 李军 (译者), 刘红伟 (译者), 等 (译者)
    《Python学习手册(第4版)》内容简介:学习Python的主要内建对象类型:数字、列表和字典。使用Python语句创建和处理对象,并且学习Python的通用语法模型。使用函数构造和重用代码,函数是Python的基本过程工具。学习Python??椋悍庾坝锞?、函数以及其他工具,以便构建较大的组件。学习Python的面向对象编程工具,用于组织程序代码。学习异常处理模型,以及用于编写较大程序的开发工具。了解高级Python工具,如装饰器、描述器、元类和Unicode处理等。