topbeat定期收集系统信息如每个进程信息、负载、内存、磁盘等等，然后将数据发送到elasticsearch进行索引。 topbeat收集的指标有： 系统统计信息 系统负载: 最后1分钟、最后5分钟、最后15分钟 CPU使用情况: user (和百分比), system, idle,...

  Packetbeat 是一个实时网络数据包分析工具，与elasticsearch一体来提供应用程序的监控和分析系统。 Packetbeat通过嗅探应用服务器之间的网络通讯，来解码应用层协议类型如HTTP、MySQL、redis等等，关联请求与响应，并记录每个事务有意义的字段。 Packetbea...

  Packetbeat 协议部分包含支持每个协议的配置项，如ports, send_request, send_response 和 特定的协议选项。 目前Packetbeat支持以下协议： DNS HTTP Mysql PostgreSQL Redis Thrift-RPC Mong...

  关于灰度配置，有一个种设计是，将配置做一个层级的划分。一共分为6层，包括：全局配置，全局灰度配置，机房配置，机房灰度配置，节点配置，节点灰度配置。优先级是，节点灰度配置>节点配置>机房灰度配置>机房配置>全局灰度配置>全局配置。也即是说对业务来说的一个配置，在底层存储实...

  在kibana中，可通过搜索查询过滤事务或者在visualization界面点击元素过滤。 创建查询 在Discover界面的搜索栏输入要查询的字段。查询语法是基于Lucene的查询语法。允许布尔运算符、通配符和字段筛选。注意关键字要大写。如查询类型是http，且状态码是302。type: ht...

  logstash是ELK重要组成部分，日志进一步的处理差不多都需要经过logstash来完成的，除非自己开发beats将数据处理好直接写入到elasticsearch中。...

  将从logstash1.5版本升级到2.1版本，以及将《ELK部署指南》中使用的logstash-forwarder转移到Filebeat上。升级步骤停止logstash以及发送到logstash的所有管道。更新apt或yum源或者下载新版包。安装新版的logstash。测试logstash配置文件...

  logstash会给事件添加一些额外的信息，如@timestamp，标注事件发生的时间。host标注事件发生的主机。此外，还可能有下面几个信息： type：标记事件的唯一类型 tags：标记事件某方面属性，可以有多个标签。 每个事件就是一个ruby对象，可以随意的给事件添加或者删除字段。每个l...

  logstash处理事件有三个阶段：input ---> filter ---> output。input产生事件，filter 对事件进行修改，output输出到其它地方。input和output支持解码，可以对进入的或者退出管道的数据进行编码或解码而无需单独经过过滤器处理。...

  elk logstash配置语法 数据类型 logstash支持的数据类型有：...

  有些日志是分多行输出的，为了能正确的处理这些多行的事件，logstash必须哪些行是单一事件的一部分。多行事件处理是比较复杂的，需依赖正确的事件顺序。最佳方法是尽早的在管道中处理以保证日志有序。这就是本文要说到的logstash管道multiline codec，专门来处理合并多行事件的。...

  在生产环境下，logstash 经常会遇到处理多种格式的日志，不同的日志格式，解析方法不同。下面来说说logstash处理多行日志的例子，对MySQL慢查询日志进行分析，这个经常遇到过，网络上疑问也很多。 MySQL慢查询日志格式如下：...

  上一篇是处理MySQL的慢查询日志的，其实，ELK内容就这么多，很有规律的说，一通百通，通一反万。下面说说对mongodb日志处理。 不同mongodb版本的日志格式不同，这个需要看mongodb官方对日志格式的定义，在处理前自己去做好这方面的功课。还有就是，要抓取自己感兴趣的内容，这个根据各自的需...

  项目地址：http://distributedlog.io/index.html DL是一个高性能的日志复制服务，提供了持久化、复制以及强一致性的功能，这对于构建可靠的分布式系统都是至关重要的，如复制状态机（replicated-state-machines）、通用的发布/订阅系统、分布式数据库以...

  前提1、有强烈的审计需求。2、能允许10%-15%左右的性能损失。3、有强烈的对数据库操作实时查看需求(一般都是为了领导要求)。Logstash 比较坑的配置input { file { path => ["/u02/backup/audit.log"] co...