如何进行Worker中Executor启动过程源码分析

2023-04-07 01:54:00 过程 源码 启动

如何进行Worker中Executor启动过程源码分析

Spark Worker节点上运行着一个或多个Executor。当Worker启动时,会根据spark.executor.cores配置的核数创建对应数量的Executor。每个Executor负责运行应用程序中的任务,并将结果返回给Driver。

在Spark 2.0中,Worker的Executor启动过程如下:

1. 当Worker启动时,会根据spark.executor.cores配置的核数创建对应数量的Executor。

2. 每个Executor负责运行应用程序中的任务,并将结果返回给Driver。

3. 当Executor运行结束时,会将结果返回给Worker。

4. Worker将结果返回给Driver。

相关文章