通过Kafka, Nifi快速构建异步持久化MongoDB架构

2020-05-28 00:00:00 数据 集群 配置 组件 流程



本文主要讨论这几个问题:

  1. 基本架构

  2. 适用场景

  3. 搭建步骤

  4. 小结



基本架构


本文将描述如何利用Apache Kafka(消息中间件),Apache Nifi(数据流转服务)两个组件,通过Nifi的可视化界面配置,快速构建异步持久化MongoDB架构。


Kafka和Nifi都是Apache组织下的开源项目。其中Kafka来自LinkedIn,是一个高性能的分布式消息系统。Nifi来自NSA(美国国家安全局),是一个功能强大,提供可视化配置,支持分布式的数据流转服务(不仅仅是一个ETL工具)。

基本架构如下图所示:




1. 应用服务集群作为Kafka消息的producer,发送要保存或更新的数据到Kafka Broker集群。


2. 通过Apache NIFI提供的可视化web界面,配置流程,消费Kafka对应Topic数据,将数据发送到MongoDB分片集群进行持久化。


3. 高可用和伸缩:这里简要介绍下架构中各部分对高可用和可伸缩性的支持。MongoDB不必多说,通过副本集以及分片集群的部署架构,实现系统的高可用和分布式伸缩能力。其中Kafka通过日志分区(partition)实现消息数据分布式存储,以及对分区日志提供副本和容错机制实现高可用。Nifi也可以集群部署,多个节点可以并行的执行相同的工作流程(相同的consumer group id,保证每个节点并行处理的不同数据),集群中一个节点会选举为master,一些不能分布式处理的流程只会在master中执行。还有个节点会选举为coordinator,负责集群节点心跳以及集群节点加入退出管理等。nifi集群通过zookeeper的协调实现这两个角色的选举以及自动故障转移。



适用场景


本文介绍的异步持久化架构主要适用如下一些场景:


1)业务允许异步持久化数据的情况(基本前提),比如爬虫抓取数据入库,日志存储等很多场景都适合异步持久化的模式。


2)数据多写:因为Kafka可以重复消费的特性,可以配置多个不同group id的消费者来实现多个不同的持久化或计算需求。比如可以在消费kafka消息持久化到MongoDB的同时,还可以消费这些数据持久化到HDFS或者通过Spark Streaming等流式计算框架进行实时计算分析。


3)流量削峰:有时业务会出现流量高峰,超出现有数据库集群的负载能力,通过消息中间件作为数据缓冲队列以及Apache Nifi提供的背压机制(Backpressure),异步持久化到MongoDB的方式,使得到达MongoDB的流量平稳,保证服务的稳定性。


4)易于配置和管理:Apache Nifi通过提供一系列可视化组件,可以很容易的配置数据流转流程,并且可以随时启动,暂停,修改流程。还可以通过自定义组件或脚本的方式,扩充流程和功能。



搭建步骤


本文不介绍kafka集群,nifi集群,mongodb分片集群的搭建,官方都有相关说明文档。这里主要介绍通过Apache Nifi配置数据流转流程(从kafka到MongoDB)。


基本流程概览,如下图(图中方框代表基本的处理流程组件,箭头代表数据流向(可以配置多个箭头代表不同类型的数据,比如组件成功处理的数据,处理异常的数据等,具体类型根据输出组件有所不同),箭头中间的小方框可以理解为数据在组件间流动的队列。):




如图所示,主要分为4个流程:


1.消费kafka topic数据 -> 2.从数据中提取出入库及路由等信息 -> 3.根据属性值进行路由 -> 4.写入MongoDB


  1. 消费Kafka数据 (ConsumeKafka)


主要使用到的组件是ConsumeKafka_0_10组件,其中_0_10后缀代表组件适用的kafka版本,由于不同kafka版本在消息格式以及offset记录方式等存在差异无法兼容,在选择的时候一定要注意选择和部署的kafka集群服务匹配的版本。

还有一点需要特别注意的是,该组件会自动提交偏移量("enable.auto.commit", "true"),支持的消息投递语义是至少一次(at-least-once),所以在业务处理和入库上一定要注意保证操作的幂等性。

下面介绍下这个组件的几个组要配置项:

  • Kafka Brokers:配置Kafka broker集群地址

  • Topic Names:配置消费的主题(Topic)

  • Group ID:设置消费者所在消费组ID

  • Offset Reset:设置开始消费的偏移量位置,latest表示从近的消息开始,earliest表示从kafka留存消息的早位置开始(该组件会自动提交消费的偏移量)






2)从数据中提取出入库及路由等信息 (EvaluateJsonPath)


为了让整个流程能够自动识别入库的一些信息,可以在业务写入到kafka的数据中记录一些元信息,比如这条数据要写入的Mongodb的库(database)和集合(collection)信息,或者区分是插入还是更新的信息。这里假设业务写到kafka的是json格式的数据,使用EvaluateJsonPath进行提取。

这里有关于性能的一个建议,适用于这里,也适用于我们任何程序写数据到mongodb的情形:慎用upsert(有就更新,没有就插入)操作,很多程序员为了省事,喜欢将所有的写入操作,都通过upsert的方式进行。但是基于性能考虑,如果能区分insert和update,建议直接使用insert和update,这样入库的效率会比不加区分的使用upsert好很多。






3)根据属性值进行路由(RouteOnAttribute)


通过RouteOnAttribute组件,根据上一步传递下来的op属性进行路由操作,将数据流根据操作拆分为insert和update





4)写入MongoDB (PutMongo)


通过PutMongo组件实现数据的插入或更新。除了PutMongo组件,Nifi还提供了一个PutMongoRecord组件(用于bulk操作),这里主要介绍PutMongo。

下面介绍其中几个主要配置:

  • Mongo URI:mongos或mongod的连接串(uri)

  • Mongo Database Name:填写要插入的数据库名,可以直接填写数据库名,也可以使用表达式语言。NIFI提供了表达式语言的支持,这里${db}表示通过表达式语言取上一步传递下来的数据库属性信息。

  • Mongo Collection Name:${collection},同上,取传递下来的集合信息

  • Mode:表示写入操作方法。(对应MongoDB客户端驱动的insert, update等操作方法)

  • Upsert:表示是否设置upsert操作选项。

  • Update Query Key: 更新时匹配查询key

  • Update Mode:表示是全文档覆盖更新,还是可以通过使用操作符的方式只更新对应字段。

  • Write Concern:设置写关注。





小  结


本文整个流程配置就这么简单,熟练的话,一分钟就可以配置完成。

NIFI提供给我们写程序外,另外一种简单直观又不失灵活的方式。









作者简介

 钟秋

  • BBD技术经理,架构师。MongoDB中文社区联席主席。

  • 有丰富项目中应用MongoDB经验,熟悉MongoDB相互模式设计及性能优化,熟悉大数据相关技术和互联网及大数据应用架构设计。










长按二维码

加关注

转载请后台

留言。


转载时,须注明作者、译者、出处和微信号。




相关文章