Flink 数据持久化踩过的坑

2020-07-05 00:00:00 数据 合并 放在 插入 写入

前言

Flink用来消费消息队列中的数据,在消费之后一定会需要用某种方式存起来,这里我简述一下在数据持久化中可能会遇到的坑和解决方案。 这篇文章中的代码,都经过本公司业务系统上调试过,是我们在使用Flink开发入库服务的时候踩过的一个个小坑,将它们总结起来,希望减少各位踩坑的数量。

本文会以消费Kafka为例,展示持久化到MySQL,MongoDB和HBase等数据库的思路。语言如果没有特殊的标记,一般都是Scala。 本文假定你已经搞定了Flink集群的搭建、程序的提交,同时你的数据库应该也能够支持这样规模的数据写入。

由于公司代码涉及业务,暂时不能开源,但是文中的源代码已经足够使用了。 为了避免文章过于臃肿,代码放在了

Flink持久化踩坑笔记代码gist.github.com

相关文章