elk logstash配置语法 数据类型 logstash支持的数据类型有：

有些日志是分多行输出的，为了能正确的处理这些多行的事件，logstash必须哪些行是单一事件的一部分。多行事件处理是比较复杂的，需依赖正确的事件顺序。最佳方法是尽早的在管道中处理以保证日志有序。这就是本文要说到的logstash管道multiline codec，专门来处理合并多行事件的。

在生产环境下，logstash 经常会遇到处理多种格式的日志，不同的日志格式，解析方法不同。下面来说说logstash处理多行日志的例子，对MySQL慢查询日志进行分析，这个经常遇到过，网络上疑问也很多。 MySQL慢查询日志格式如下：

上一篇是处理MySQL的慢查询日志的，其实，ELK内容就这么多，很有规律的说，一通百通，通一反万。下面说说对mongodb日志处理。 不同mongodb版本的日志格式不同，这个需要看mongodb官方对日志格式的定义，在处理前自己去做好这方面的功课。还有就是，要抓取自己感兴趣的内容，这个根据各自的需求来做，没有千篇一律...

项目地址：http://distributedlog.io/index.html DL是一个高性能的日志复制服务，提供了持久化、复制以及强一致性的功能，这对于构建可靠的分布式系统都是至关重要的，如复制状态机（replicated-state-machines）、通用的发布/订阅系统、分布式数据库以及分布式队列。

前提1、有强烈的审计需求。2、能允许10%-15%左右的性能损失。3、有强烈的对数据库操作实时查看需求(一般都是为了领导要求)。Logstash 比较坑的配置input { file { path => ["/u02/backup/audit.log"] codec => ...

etcd 集群管理维护 服务发现

B站的日志系统

Puppet基于ruby语言开发的自动化系统配置工具，可以C/S模式或独立运行，支持对所有UNIX及类UNIX系统的配置管理，最新版本也开始支持对Windows操作系统有限的一些管理。Puppet适用于服务器管的整个过程 ，比如初始安装、配置更新以及系统下线。 Puppet的安装方式支持源码安装、yum安装以及r...

云计算时代系统管理员会经常陷入一系列的重复任务中，如安装或重装系统，升级软件包，管理配置文件，添加、管理和配置系统服务等等，成百上千台服务器，够让我们抓狂的，因此自动化就非常有必要了。 Puppet 是一个客户端/服务器（C/S）架构的配置管理工具，在中央服务器上安装 puppet-server 服务器（pupp...

1. 客户端安装rsync模块一定要下载，不然客户端的 /etc/rsyncd.conf 该文件是空的# cd /etc/puppet/modules  #进入模块路径目录 # git clone https://github.com/onyxpoint/pupmod-concat && mv pupmod-conca...

0.16.0版本的发布，带来了minion可以连接多Master的特性. 这种方式称为多master( multi-master )配置, 使环境中的SaltStack冗余。在这种配置下，Salt Minions将连接所有配置的Salt Master. 本文将带你了解如何建立多Master的环境.

Saltstack是一个具备puppet与func功能为一身的集中化管理平台，saltstack基于python实现，功能十分强大，各模块融合度及复用性极高，官方极力推荐作为云计算平台的基础架构。轻松维护成千上万台服务器不是问题，现分享作者基于saltstack实现一个集中化的配置管理平台，以Nginx配置例子展开，涉...

过几天就要离开这家公司了,原先计划做的自动化还没完成,群主推荐了saltstack,上网对比了相关软件puppet和func. 决定选择他来做自动化.前后研究了几天，今天把公司的服务器都上了saltstack，今天先分享下saltstack的简单安装方法.

saltstack web uiweb平台界面 saltapi项目主页： http://salt-api.readthedocs.org/en/latest/ halite 项目主页： https://github.com/saltstack/halite 官方文档 ： https://github.com/...

源码包：http://pan.baidu.com/s/1mgic8U8应用环境：使用salt写了个自动部署mysql的配置配置管理文件，由于mysql的有版本号，端口等不确定属性，需要使用pillar来单独配置每个minion的属性。一，原始方法例如，需要在salt id为10.1.1.1-centos.game.we...

今天没事发了2个小时 把以前研究过的saltstack 复习了一篇 准备没事开始上线部署下（先慢慢用） 以前一直研究这个研究 那个每次都是搞到一个初级水平 后来没需求了 就没研究了 这样过段时间了 啥都忘记完了 这次顺便把 复习过程记录下来 以后好查阅（这也是我写博客的最大原因）

grains和pillar 这个单词这么读 我也不太清楚 这里简单介绍下吧 grains 这个跟puppet的facter一样 负责采集客户端一些基本信息（查看这些信息 上一篇文章已经介绍了） 这个也完全可以自定义（灵活性牛掰）

今天没事跟同事把saltstack的syndic实验了一把 准备把心得啥的 记录下 其实现在不适合讲syndic 因为saltstack的其他东西我还没搞清楚 大家都知道saltstack传统的架构都是 c/s 一个master管一堆minion的形式 syndic架构多了一层类似代理的东西 我下面去画个图 贴上来吧 ...

今天没事看了一下saltstack的mine功能 说实话看完官方那点英文文档之后 我还是不知道这个是干嘛的 以后改这么用 不过我实验了一把 算是成功了把 所以我先记录下来 等以后深入了解后 可能会用到下面我简单讲下官网文档说的是啥意思吧 （翻译得不好请见谅）1.saltstack 这个功能 在0.15.0 版本后才有的...