如何在已编制索引的文档上使用摄取管道?

我一直在使用FOSElasticaBundle将我的文档(这些文档是通过Doctrine保存在数据库中的symfony项目中的实体)索引到Elastic search中。FOSElastica在所有文档之后执行自动映射和索引。

问题是,我希望对每个文档(对已编制索引的文档和将要编制索引的文档)应用某些操作,因此管道和无痛似乎是一个很好的解决方案。

但是,我无法理解如何将管道应用于已编制索引的文档,您知道如何应用管道吗?

我已经看到您可以在ES请求后添加"PIPELINE=MY_PIPELINE_NAME",但是您可以对单个文档执行此操作,而我希望它影响所有文档。


解决方案

将数据从一个索引移动到另一个索引时,可以使用Pipeline。

您需要使用Reindex API,以便在movement/ingestion_process从一个索引到另一个索引期间对数据执行它。

注意:这是索引级操作,表示它将影响所有文档。

下面是步骤摘要:

  • 创建temporary_index
  • source_indextemporary_index的重新索引使用Reindex API。还包括管道(下面提供的示例查询)
  • 删除并重新创建source_index。请确保在创建索引时也包括映射。
  • 使用source_index作为目标名称,temporary_index作为源名称执行相同的查询this,不使用管道

下面是如何通过管道使用reindex API

POST _reindex
{
  "source": {
    "index": "source_index_name"
  },
  "dest": {
    "index": "temporary_index",
    "pipeline": "some_ingest_pipeline"
  }
}

让我知道这是否有帮助!

相关文章