• 四部门调整完善新能源汽车推广应用财政补贴政策 2018-08-15
  • 两男子在吉大美食城“百元找零”诈骗? 2018-08-12
  • 突破!郑鹏创中国队冬残奥会个人项目最好成绩 2018-08-12
  • 今年铜陵市将治理水土流失面积36平方公里 2018-08-11
  • 篮球投注技巧 2018-08-11
  • 威海马上就可以接种四价宫颈癌疫苗 附接种地点 2018-08-10
  • 德赫亚暗示博格巴,像我这样才能在曼联取得成功! 2018-08-10
  • 广州出台“红棉计划”吸引海外人才来穗创新创业 2018-08-10
  • 不敌吉林队 四川男篮赛季排名倒数第二收官 2018-08-10
  • 北京榜样,我为你点一个大大的赞 2018-08-09
  • 石家庄空气质量排名"后十"的乡镇将被约谈 2018-08-08
  • 日本公布秘密文件:美日曾密谋“瓜分”中国(图) 2018-08-08
  • 秦岭户外救援现状调查 志愿者组队救援费用AA制均摊 2018-08-08
  • 皇台酒业为证券虚假陈述案埋单,8名投资者将获赔近62万元 2018-08-08
  • 中科大揭示酵母酶的“钻戒”结构 可优化癌症的个性化治疗 2018-08-08
  • 日志收集工具 logpipe 更新至 0.9.0 版本

    栏目: 软件资讯 发布于: 2017-12-20 12:20:02

    日志收集工具 logpipe 0.9.0 已发布。更新如下:

    0.9.0 2017-12-19 calvin

    ????*?logpipe日志自动补充后缀".(24小时制钟点)",每天循环

    0.8.0 2017-12-18 calvin

    ????*?再次修正了文件大小转档在长打开文件应用模式中的一个遗漏目标文件末尾的问题
    ????*?输出描述字不可用时及时通知插件

    0.7.0 2017-12-16 calvin

    ????*?logpipe-input-file配置exec_before_rotating和exec_after_rotating命令中可以使用环境变量LOGPIPE_ROTATING_PATHNAME了
    ????*?修正了文件大小转档在长打开文件应用模式中的一个遗漏目标文件末尾的问题
    ????*?start_for_full_dose改名为start_once_for_full_dose,装载参数改从环境变量中取,由logpipe?--start-once-for-env?"(key)?(value)"导入
    ????*?调整了一些日志的等级

    0.6.0 2017-12-15 calvin

    ????*?logpipe-input-file新增配置项exec_before_rotating,rotate_size,exec_after_rotating
    ????*?logpipe命令行参数新增公共配置项机制--public-plugin-config-item-,logpipe-input-file新增配置项start_for_full_dose

    0.5.0 2017-12-14 calvin

    ????*?重构设计,采用插件模型

    0.4.0 2017-12-09 calvin

    ????*?新增配置参数comm.compress_algorithm用于压缩传输

    0.3.0 2017-12-08 calvin

    ????*?新增配置参数rotate.file_rotate_max_size用于文件名转档功能

    0.2.0 2017-12-05 calvin

    ????*?重构设计,抽象统一采集端、转发端和归集端

    0.1.0 2017-12-02 calvin

    ????*?完成采集端基本功能
    ????*?完成归集端基本功能
    ????*?测试echo,mv,vi对客户端监控目录的反应

    0.0.0 2017-11-26 calvin

    ????*?创建

    logpipe是一个分布式、高可用的用于采集、传输、对接落地的日志工具,采用了插件风格的框架结构设计,支持多输入多输出按需配置组件用于流式日志收集架构,无第三方依赖。

    logpipe概念朴实、使用方便、配置简练,没有如sink等一大堆新名词。

    logpipe由若干个input、事件总线和若干个output组成。启动logpipe管理进程(monitor),派生一个工作进程(worker),监控工作进程崩溃则重启工作进程。工作进程装载配置加载若干个input插件和若干个output插件,进入事件循环,任一input插件产生消息后输出给所有output插件。

    logpipe自带了4个插件(今后将开发更多插件),分别是:

    • logpipe-input-file 用inotify异步实时监控日志目录,一旦有文件新建或文件增长事件发生(注意:不是周期性轮询文件修改时间和大?。?,立即捕获文件名和读取文件追加数据。该插件拥有文件大小转档功能,用以替代应用日志库对应功能,提高应用日志库写日志性能。该插件支持数据压缩。

    • logpipe-output-file 一旦输入插件有消息产生后用相同的文件名落地文件数据。该插件支持数据解压。

    • logpipe-input-tcp 创建TCP服务侦听端,接收客户端连接,一旦客户端连接上有新消息到来,立即读取。

    • logpipe-output-tcp 创建TCP客户端,连接服务端,一旦输入插件有消息产生后输出到该连接。

    使用者可根据自身需求,按照插件开发规范,开发定制插件,如IBMMQ输入插件、HDFS输出插件等。

    logpipe配置采用JSON格式,层次分明,编写简洁,如示例:

    {
    	"log"?:?
    	{
    		"log_file"?:?"/tmp/logpipe_case1_collector.log"?,
    		"log_level"?:?"INFO"
    	}?,
    	
    	"inputs"?:?
    	[
    		{?"plugin":"so/logpipe-input-file.so"?,?"path":"/home/calvin/log"?,?"compress_algorithm":"deflate"?}
    	]?,
    	
    	"outputs"?:?
    	[
    		{?"plugin":"so/logpipe-output-tcp.so"?,?"ip":"127.0.0.1"?,?"port":10101?}
    	]
    }

    源码托管地址 :?码云Gitee、GitHub

    作者邮箱 :?网易、Gmail


    【声明】文章转载自:开源中国社区 [http://www.rocksun.cn]

    本站文章除注明转载外,均为本站原创或编译?;队魏涡问降淖?,但请务必注明出处。
    转载请注明:文章转载自 七星彩票平台
    本文标题:日志收集工具 logpipe 更新至 0.9.0 版本
    IT技术书籍推荐:
    Python学习手册(第4版)
    Python学习手册(第4版)
    鲁特兹 (Mark Lutz) (作者), 李军 (译者), 刘红伟 (译者), 等 (译者)
    《Python学习手册(第4版)》内容简介:学习Python的主要内建对象类型:数字、列表和字典。使用Python语句创建和处理对象,并且学习Python的通用语法模型。使用函数构造和重用代码,函数是Python的基本过程工具。学习Python??椋悍庾坝锞?、函数以及其他工具,以便构建较大的组件。学习Python的面向对象编程工具,用于组织程序代码。学习异常处理模型,以及用于编写较大程序的开发工具。了解高级Python工具,如装饰器、描述器、元类和Unicode处理等。