如何进行Worker中Executor启动过程源码分析
如何进行Worker中Executor启动过程源码分析
Spark Worker节点上运行着一个或多个Executor。当Worker启动时,会根据spark.executor.cores配置的核数创建对应数量的Executor。每个Executor负责运行应用程序中的任务,并将结果返回给Driver。
在Spark 2.0中,Worker的Executor启动过程如下:
1. 当Worker启动时,会根据spark.executor.cores配置的核数创建对应数量的Executor。
2. 每个Executor负责运行应用程序中的任务,并将结果返回给Driver。
3. 当Executor运行结束时,会将结果返回给Worker。
4. Worker将结果返回给Driver。
相关文章