Flink 核心流程分析-中
这里主要是基于Flink本地执行环境进行的分析,所以看不到集群环境下,Taskr在各个节点之间的调度。但是,这个分析的好处,就是要知道:
1、JobGraph 到 ExecutionGraph之间的转换
2、ExectuionGraph 的构建过程中,每个ExectuionVertex 和 真正执行任务的task 之间的关系是什么?
3、ExectuionVertex是如何根据并行度创建ExectuionVertex上下游节点的之间的输入/输出结果集的?
4、task 和 slot 之间的关系是如何构建的?
个人感觉,以下分析还差那么一点意思。但是,后面满满补充吧。上一篇文章主要是说的是StreamGraph 和 JobGraph 之间的故事! 在这里,杜卷数据先生:Flink 核心流程解析-上
好吧!就这样吧!下一篇再看看集群环境下task的调度吧!
如果以上过程的梳理,有什么不对的地方。欢迎各位不吝赐教,大家多多交流嘛!
顺便说一句,这里我只关心核心流程和Flink的基本框架,主要是为了学习和参考大师们的设计思路和核心思想。可能并未理解其真正核心,但也已经开始了,是吧!
相关文章