ES 集群间迁移数据（一）

2020-06-01 00:00:00 索引 集群 的是 配置 希望

在实际使用 Elasticsearch 集群的过程中，可能会遇到需要实验新版本的特性或者对集群中的数据进行垂直拆分，在这个过程中，就需要将原有集群中的数据搬到新的集群中，Elasticsearch 为此提供了：

  • snapshot / restore
  • reindex

以上两种方式，这里主要介绍第二种 reindex 的方式。

这里主要使用官方出品的工具：curator 进行相关的操作。

这里先给出 reindex 的基本配置：

注：curator 的配置文件是 YAML 格式。

使用 curator 通过 Reindex 的方式，核心部分的配置是 8 - 18 行。

  • request_body 由 source 和 dest 两部分构成
    • source 是指定 Elasticsearch 源集群，主要配置源集群的地址信息，以及 Reindex 所使用的源索引，这里 REINDEX_SELECTION 是一个特殊的占位符，表示的是通过 remote_filters 过滤器过滤之后得到的源索引名字。
    • dest 是指定在目标 Elasticsearch 进行 Reindex 操作后，创建的索引的名字。这里 MIGRATION 也是一个特殊的占位符，它表示的是，在目标集群中创建的索引名字是，如下格式的：

注：migration_prefix 和 migration_suffiex 可以在 yaml 文件进行配置，migration_prefix | Curator Reference [5.1] | Elastic， migration_suffix | Curator Reference [5.1] | Elastic

当 migration_prefix 和 migration_suffix 都为空字符串时，dest_index_name 就完全和 source_index_name 一致了，这样在实际执行操作的时候，就省去了每次都要去指定 dest_index_name 的时间。


  • remote_filters 是用于在源集群中，过滤出需要的源索引，以便进行后续的操作，过滤出来的源索引，在配置中使用 REINDEX_SELECTION 进行替换。

通过一份相对简单的配置，就可以完成日常的集群间的数据迁移。

更完整的配置，参见：github.com/fatelei/es-o

相关文章