ELK 由三部分组成elasticsearch、logstash、kibana，一个一个的啃过去。在安装elasticsearch之前，首先来看看elasticsearch几个至关重要的术语。...

  根据《ELK 产品支持的平台和软件》选定你所要安装的版本。这里将安装elasticsearch最新版本2.0.0。 1. jdk elasticsearch只支持Oracle java 和 OpenJDK。 在这里不再重复了，参见《ELK 部署指南》详细的不能再详细了。搞不定跟帖说明吧。...

  比起tar包安装，以yum方式安装对于启动和关闭elasticsearch服务更为方便。而对于CentOS与Ubuntu而言，apt 安装比yum 更为方便。楼主工作前期中是以CentOS系统为主，后面也使用Ubuntu。在这两款系统切换中，刚开始是有些不为习惯的，慢慢就好。 下面主要是说下RPM包的一些安装路径和参数。...

  回到ELK系列的第二篇，有一张详细信息图，这上面的每列是啥含义？ 还有其它的API接口么？每个API接口能查看到啥信息？ elasticsearch默认是以json格式响应数据的，这更适合程序的处理，而对于运维，在终端命令下查看易读性就差了，这就需要紧凑对齐的文本，分行分表格的展示数据。为此，elasticsearch提供了cat接口。这就i本文要介绍的内容了。对于其它的API接口后续文章会陆续介绍。请关注。...

  elasticsearch 快照和恢复模块可以创建单个索引或者整个集群的快照到远程的仓库。在最初的版本只支持共享文件系统存储，但是现在，各种后端可用通过官方支持的存储插件。...

  一文费了老大劲闲扯了半天快照与恢复，就是为了本文升级做准备的。在升级前需考虑下面三件事： 查看阅读新版本的更改内容 在测试环境下测试升级 升级之前备份数据，升级后是不能再回滚到旧版本的 elasticsearch滚动升级过程，不会造成服务中断。elasticsearch提供两种升级类型：全集群重启和滚动升级。...

  插件能额外扩展elasticsearch功能，提供各类功能等等。有三种类型的插件： java插件 只包含JAR文件，必须在集群中每个节点上安装而且需要重启才能使插件生效。 网站插件 这类插件包含静态web内容，如js、css、html等等，可以直接从elasticsearch服务，如head插件。只需在一个节点上安装，不需要重启服务。可以通过下面的URL访问，如：http://node-ip:9200/_plugin/plugin_name 混合插件 顾名思义，就是包含上面两种的插件。...

  kibana 本质上是elasticsearch web客户端，是一个分析和可视化elasticsearch平台，可通过kibana搜索、查看和与存储在elasticsearch的索引进行交互。可以很方便的执行先进的数据分析和可视化多种格式的数据，如图表、表格、地图等。...

  sense 是一个elasticsearch REST API交互式的控制台。Marvel 1.X 版本有带这个工具。Marvel2.X版本，sense从Marvel分离出来了，集成到kibana平台上了，作为kibana的一个插件。...

  beats是一个代理，将不同类型的数据发送到elasticsearch。beats可以直接将数据发送到elasticsearch，也可以通过logstash将数据发送elasticsearch。 beats有三个典型的例子：Filebeat、Topbeat、Packetbeat。Filebeat用来收集日志，Topbeat用来收集系统基础设置数据如cpu、内存、每个进程的统计信息，Packetbeat是一个网络包分析工具，统计收集网络信息。这三个是官方提供的。后续会慢慢介绍这三个beat。 ELK的目标是建立一个平台，可以很容易的创建新的beats。为了这个目录，开发了libbeat，该G...

  Beats配置文件是以YAML语法，该文件包含用于所有的beats的通用配置选项，以及其特点的选项。下面说说通用的配置，特定的配置要看各自beat文档。 通用的配置如下几部分： Shipper Output Logging(可选) Run Options（可选）...

  ELK beats yum和命令行工具...

  topbeat定期收集系统信息如每个进程信息、负载、内存、磁盘等等，然后将数据发送到elasticsearch进行索引。 topbeat收集的指标有： 系统统计信息 系统负载: 最后1分钟、最后5分钟、最后15分钟 CPU使用情况: user (和百分比), system, idle, IOWait等等 内存使用情况: 总共, 已用 (和百分比), 剩余等等 swap使用情况:总共, 已用 (和百分比), 剩余等等...

  Packetbeat 是一个实时网络数据包分析工具，与elasticsearch一体来提供应用程序的监控和分析系统。 Packetbeat通过嗅探应用服务器之间的网络通讯，来解码应用层协议类型如HTTP、MySQL、redis等等，关联请求与响应，并记录每个事务有意义的字段。 Packetbeat可以帮助我们快速发现后端应用程序的问题，如bug或性能问题等等，修复排除故障也很快捷。...

  Packetbeat 协议部分包含支持每个协议的配置项，如ports, send_request, send_response 和 特定的协议选项。 目前Packetbeat支持以下协议： DNS HTTP Mysql PostgreSQL Redis Thrift-RPC MongoDB Memcache...

  在kibana中，可通过搜索查询过滤事务或者在visualization界面点击元素过滤。 创建查询 在Discover界面的搜索栏输入要查询的字段。查询语法是基于Lucene的查询语法。允许布尔运算符、通配符和字段筛选。注意关键字要大写。如查询类型是http，且状态码是302。type: http AND http.code: 302。...

  logstash是ELK重要组成部分，日志进一步的处理差不多都需要经过logstash来完成的，除非自己开发beats将数据处理好直接写入到elasticsearch中。...

  将从logstash1.5版本升级到2.1版本，以及将《ELK部署指南》中使用的logstash-forwarder转移到Filebeat上。升级步骤停止logstash以及发送到logstash的所有管道。更新apt或yum源或者下载新版包。安装新版的logstash。测试logstash配置文件是否正确。启动logstash以及第一步停止的管道。升级logstash和elasticsearch...

  logstash会给事件添加一些额外的信息，如@timestamp，标注事件发生的时间。host标注事件发生的主机。此外，还可能有下面几个信息： type：标记事件的唯一类型 tags：标记事件某方面属性，可以有多个标签。 每个事件就是一个ruby对象，可以随意的给事件添加或者删除字段。每个logstash过滤插件，都会有四个方法add_tag，remove_tag，add_field， remove_field，它们在过滤匹配成功时生效。 logstash管道必须要有input和output元素，filter元素是可选的。input插件定义数据来源，filter插件用来修改用户指定的...

  logstash处理事件有三个阶段：input ---> filter ---> output。input产生事件，filter 对事件进行修改，output输出到其它地方。input和output支持解码，可以对进入的或者退出管道的数据进行编码或解码而无需单独经过过滤器处理。...

  elk logstash配置语法 数据类型 logstash支持的数据类型有：...

  有些日志是分多行输出的，为了能正确的处理这些多行的事件，logstash必须哪些行是单一事件的一部分。多行事件处理是比较复杂的，需依赖正确的事件顺序。最佳方法是尽早的在管道中处理以保证日志有序。这就是本文要说到的logstash管道multiline codec，专门来处理合并多行事件的。...

  在生产环境下，logstash 经常会遇到处理多种格式的日志，不同的日志格式，解析方法不同。下面来说说logstash处理多行日志的例子，对MySQL慢查询日志进行分析，这个经常遇到过，网络上疑问也很多。 MySQL慢查询日志格式如下：...

  上一篇是处理MySQL的慢查询日志的，其实，ELK内容就这么多，很有规律的说，一通百通，通一反万。下面说说对mongodb日志处理。 不同mongodb版本的日志格式不同，这个需要看mongodb官方对日志格式的定义，在处理前自己去做好这方面的功课。还有就是，要抓取自己感兴趣的内容，这个根据各自的需求来做，没有千篇一律的，全凭各自喜好。...

  前提1、有强烈的审计需求。2、能允许10%-15%左右的性能损失。3、有强烈的对数据库操作实时查看需求(一般都是为了领导要求)。Logstash 比较坑的配置input { file { path => ["/u02/backup/audit.log"] codec => json }}output { elasticsearch { ...