Logstash学习笔记

Table of Contents

1. 背景
2. 安装
1. 简单使用示例
1. 1.命令行输入内容然后让logstash输出内容
2. 2.命令行输入内容然后让logstash以某种格式输出
3. 3.命令行输入内容然后让logstash使用Elasticsearch存储
4. 4.使用过滤器解析日志存到es中
5. 5.从文件获取日志保存到es中

1. logstash详解
1. 引言
2. 架构
3. 配置语法
4. plugin的安装
5. 运行方式
6. 插件配置
1. 输入插件(Input)
2. 编码插件(Codec)
3. 过滤器插件(Filter)
4. output配置

背景

先介绍下ELK stack

Elasticsearch

Elasticsearch 是基于 JSON 的分布式搜索和分析引擎，专为实现水平扩展、高可用和管理便捷性而设计

Logstash

Logstash 是动态数据收集管道，拥有可扩展的插件生态系统，能够与 Elasticsearch 产生强大的协同作用。

Kibana

Kibana 能够以图表的形式呈现数据，并且具有可扩展的用户界面，供您全方位配置和管理 Elastic Stack

ELK典型使用场景

用Elasticsearch作为后台数据的存储，kibana用来前端的报表展示。Logstash在其过程中担任搬运工的角色

我们先把logstash安装然后简单用起来，然后详细解析logstash

安装

依赖:jdk7及以上版本

Logstash版本:2.3.4

步骤：

1. 官网下载tar.gz包

链接地址：链接

1. 扔到机器上解压tar zxvf logstash-2.3.4.tar.gz

安装完成

简单使用示例

1.命令行输入内容然后让logstash输出内容

进到bin目录下运行：

./logstash -e 'input { stdin { } } output { stdout {} }'