包含"ELK"标签的文章
-
ELK kibana查询与过滤(17th)
在kibana中,可通过搜索查询过滤事务或者在visualization界面点击元素过滤。 创建查询 在Discover界面的搜索栏输入要查询的字段。查询语法是基于Lucene的查询语法。允许布尔运算符、通配符和字段筛选。注意关键字要大写。如查询类型是http,且状态码是302。type: ht...
-
ELK logstash 部署指南与版本变化(20th)
logstash是ELK重要组成部分,日志进一步的处理差不多都需要经过logstash来完成的,除非自己开发beats将数据处理好直接写入到elasticsearch中。...
-
ELK logstash升级到2.0以及logstash-forwarder迁移到Filebeat(21st)
将从logstash1.5版本升级到2.1版本,以及将《ELK部署指南》中使用的logstash-forwarder转移到Filebeat上。升级步骤停止logstash以及发送到logstash的所有管道。更新apt或yum源或者下载新版包。安装新版的logstash。测试logstash配置文件...
-
ELK logstash 结构(22nd)
logstash会给事件添加一些额外的信息,如@timestamp,标注事件发生的时间。host标注事件发生的主机。此外,还可能有下面几个信息: type:标记事件的唯一类型 tags:标记事件某方面属性,可以有多个标签。 每个事件就是一个ruby对象,可以随意的给事件添加或者删除字段。每个l...
-
ELK logstash处理流程(23rd)
logstash处理事件有三个阶段:input ---> filter ---> output。input产生事件,filter 对事件进行修改,output输出到其它地方。input和output支持解码,可以对进入的或者退出管道的数据进行编码或解码而无需单独经过过滤器处理。...
-
ELK logstash 配置语法(24th)
elk logstash配置语法 数据类型 logstash支持的数据类型有:...
-
ELK logstash 处理多行事件(25th)
有些日志是分多行输出的,为了能正确的处理这些多行的事件,logstash必须哪些行是单一事件的一部分。多行事件处理是比较复杂的,需依赖正确的事件顺序。最佳方法是尽早的在管道中处理以保证日志有序。这就是本文要说到的logstash管道multiline codec,专门来处理合并多行事件的。...
-
ELK logstash 处理MySQL慢查询日志(26th)
在生产环境下,logstash 经常会遇到处理多种格式的日志,不同的日志格式,解析方法不同。下面来说说logstash处理多行日志的例子,对MySQL慢查询日志进行分析,这个经常遇到过,网络上疑问也很多。 MySQL慢查询日志格式如下:...
-
ELK logstash 处理mongodb日志(27th)
上一篇是处理MySQL的慢查询日志的,其实,ELK内容就这么多,很有规律的说,一通百通,通一反万。下面说说对mongodb日志处理。 不同mongodb版本的日志格式不同,这个需要看mongodb官方对日志格式的定义,在处理前自己去做好这方面的功课。还有就是,要抓取自己感兴趣的内容,这个根据各自的需...
-
ELK 处理 Percona 审计日志(填坑)
前提1、有强烈的审计需求。2、能允许10%-15%左右的性能损失。3、有强烈的对数据库操作实时查看需求(一般都是为了领导要求)。Logstash 比较坑的配置input { file { path => ["/u02/backup/audit.log"] co...