Ingest Attachment Processor Plugin 基本用法
前言
elasticsearch5.x 新增一个比较重要的特性 IngestNode。
之前如果需要对数据进行加工,都是在索引之前进行处理,比如logstash可以对日志进行结构化和转换,现在直接在es就可以处理了。
目前es提供了一些常用的诸如convert、grok之类的处理器,在使用的时候,先定义一个pipeline管道,里面设置文档的加工逻辑,在建索引的时候指定pipeline名称,那么这个索引就会按照预先定义好的pipeline来处理了。
Ingest Attachment Processor Plugin
处理文档附件,替换之前的 mapper attachment plugin。
默认存储附件内容必须base64编码的数据,不想base64转换,可以使用CBOR(没有试验)
官网说明:
The source field must be a base64 encoded binary.
If you do not want to incur the overhead of converting back and forth between base64,
you can use the CBOR format instead of JSON and specify the field as a bytes array instead of a string representation.
The processor will skip the base64 decoding then.
相关文章