Flink 实时计算 - 维表 Join 的实现

大家好，我是Lake，专注互联网科技见解分享、程序员经验分享、大数据技术分享。

前言

Flink 1.9 版本可以说是一个具有里程碑意义的版本，其内部合入了很多 Blink Table/SQL 方面的功能，同时也开始增强 Flink 在批处理方面的能力，真的是向批流统一的终极方向开始前进。Flink 1.9 版本在 8.22 号也终于发布了。本文主要介绍学习 Flink SQL 维表 Join，维表 Join 对于SQL 任务来说，一般是一个很正常的功能，本文给出代码层面的实现，和大家分享用户如何自定义 Flink 维表。

1. 什么是维表

维表作为 SQL 任务中一种常见表的类型，其本质就是关联表数据的额外数据属性，通常在 Join 语句中进行使用。比如源数据有人的身份证号，人名，你现在想要得到人的家庭地址，那么可以通过身份证号去关联人的身份证信息，就可以得到更全的数据。

维表可以是静态的数据，也可以是动态的数据(比如定时更新的数据)，一般会通过特定的主键来进行关联。它可以在 Mysql 中进行存储，也可以在 Nosql 数据库中进行存储，比如 HBase等。

2. Flink 中的维表

Flink 1.9 中维表功能来源于新加入的Blink中的功能，如果你要使用该功能，那就需要自己引入 Blink 的 Planner，而不是引用社区的 Planner。由于新合入的 Blink 相关功能，使得 Flink 1.9 实现维表功能很简单，只要自定义实现 LookupableTableSource 接口，同时实现里面的方法就可以进行，下面来分析一下 LookupableTableSource的代码：

public interface LookupableTableSource<T> extends TableSource<T> {
 TableFunction<T> getLookupFunction(String[] lookupKeys);
 AsyncTableFunction<T> getAsyncLookupFunction(String[] lookupKeys);
 boolean isAsyncEnabled();
}