Spark提交Yarn的详细过程

2023-04-15 07:26:00 过程 提交 详细

Spark提交Yarn的详细过程:

1.用户使用spark-submit命令提交spark作业,spark-submit将作业的信息发送到Yarn的ResourceManager;

2.ResourceManager将作业的信息发送到NodeManager,NodeManager根据提交的作业信息,检查其节点上的资源,如果资源满足作业的要求,则将作业的信息发送给ApplicationMaster;

3.ApplicationMaster负责管理整个作业的执行,会根据作业的要求,将作业分割成多个任务,并将任务发送给NodeManager;

4.NodeManager根据ApplicationMaster发送的任务,在节点上启动Executor,Executor负责实际执行任务;

5.Executor在完成任务后,将任务执行结果发送给ApplicationMaster;

6.ApplicationMaster收集所有任务的执行结果,将任务的结果发送给ResourceManager;

7.ResourceManager将作业的结果发送给用户,完成整个作业的提交过程。

相关文章