Flink 核心流程分析-中

2020-07-05 00:00:00 执行 专区 订阅 环境 核心

这里主要是基于Flink本地执行环境进行的分析,所以看不到集群环境下,Taskr在各个节点之间的调度。但是,这个分析的好处,就是要知道:

1、JobGraph 到 ExecutionGraph之间的转换

2、ExectuionGraph 的构建过程中,每个ExectuionVertex 和 真正执行任务的task 之间的关系是什么?

3、ExectuionVertex是如何根据并行度创建ExectuionVertex上下游节点的之间的输入/输出结果集的?

4、task 和 slot 之间的关系是如何构建的?

个人感觉,以下分析还差那么一点意思。但是,后面满满补充吧。上一篇文章主要是说的是StreamGraph 和 JobGraph 之间的故事! 在这里,杜卷数据先生:Flink 核心流程解析-上



好吧!就这样吧!下一篇再看看集群环境下task的调度吧!

如果以上过程的梳理,有什么不对的地方。欢迎各位不吝赐教,大家多多交流嘛!

顺便说一句,这里我只关心核心流程和Flink的基本框架,主要是为了学习和参考大师们的设计思路和核心思想。可能并未理解其真正核心,但也已经开始了,是吧!

相关文章