[日志管理]Graylog进阶 通过Indices自主管理Elasticsearch集群

2020-06-01 00:00:00 索引 创建 选择 希望 轮转

Graylog的Indices功能主要是用来管理Elasticsearch的shards、replicas、segments,以及Index的轮转规则(按时间、按大小、按行数),保留大的Index数量。

它主要解决两个方面的问题:

1、通过在创建的stream中放置判断条件,将日志存储到不同的Index别名中。日志被分配到不同的Index中去了,Index小了,查询自然快了。

2、提供更高细粒度的Index轮转、删除策略。影响Elasticsearch查询性能和资源消耗主要来自于它的分片数的多少,按照一定策略进行删除和关闭,让集群的分片数维持在一定范围内,将很大保证集群的稳定性和查询效率。

Indices配置好之后,Elasticsearch集群几乎不需要人工介入维护,可以做到按需分配、自主清理。

下面开始讲一下如何操作:

(1)在导航栏System/Indices -> Create Index set,创建一个新索引。

(2)创建一个名为4xx_5xx_log的索引,根据线上的情况填入shards、replicas、segments的数量。Select rotation strategy选择Index Time(按时间进行轮转),Rotation period 轮转的时间为P10D(D代表天,H代表小时,M代表月),有兴趣的可以访问 ISO 8601 duration 来了解一下

(3)我们再往下进行定义Index的清理、保留策略。我们选择Select retention strategyDelete Index(删除索引),Max number of indices 选择3个。给大家解释一下就是4xx_5xx_log这个索引只保留3个,也就是3x10D,一个月的日志,点击save保存。

(4)我们在导航栏Streams中创建一个名为4xx_5xx_log的stream,右侧选择More Actions,在Index Set中选择刚才创建的4xx_5xx_log的索引,点击save保存。

(5)在设置一下筛选stream 4xx_5xx_log的条件,status状态值大于399,小于600。这样就完成了日志分类、引流到指定Index的全部过程了。

(6)后我们返回到System/Indices -> Indices 菜单,点击刚才创建的索引。就能看到新创建的4xx_5xx_log索引详情了。

相关文章