NetDevOps随笔/监控与数据分析/Elastic_Stack/Elasticsearch_02

上文中, 我们了解了Elasticsearch集群的基本概念并搭建了一个基础集群:

本文着重介绍Elasticsearch数据存储与索引的基本概念: 文档, 索引, 分片, 和副本分片.

申明:
- 本入门自学笔记基于Elasticsearch:7.6.2, 不保证实时随新版本更新.
- 本入门自学笔记包含基于辣不麻理解的中英文翻译, 不保证与官网中文文档完全匹配.

文档

申明: 本入门自学笔记不涵盖数据结构, 比如说json的基础知识, 请移步自学

文档(Document)是Elasticsearch中对一份数据的称呼, 可以是一条系统日志, 或者是一个路由器的Telemetry事件. 根据需求, 用户也可以选择将一条系统日志拆分成多份文档进行存储.
那既然都是收存系统日志, 和传统的rsyslog等日志服务器有什么区别呢? 根据需求, 为了方便实现将来的排序, 筛选, 统计等操作, 文档必须是json格式结构化的数据, 举个栗子, 下面是一条grpc Telemetry 事件, 事件路径为: /bgp-rib/afi-safis/afi-safi/ipv4-unicast/neighbors/neighbor/adj-rib-in-post/num-routes/

{
  "system_id": "vMX9",
  "description": "routing protocol bgp adjacency rib in routes from vMX9",
  "timestamp": "20200228T103332Z",
  "bgp_ipv4uni_adj_rib_in_post": [
    {
      "__prefix__": "7.7.7.7",
      "adj_rib_in_postnum_routes": 9
    },
    {
      "__prefix__": "8.8.8.8",
      "adj_rib_in_postnum_routes": 1
    }
  ]
}