Spark提交Yarn的详细过程
Spark提交Yarn的详细过程:
1.用户使用spark-submit命令提交spark作业,spark-submit将作业的信息发送到Yarn的ResourceManager;
2.ResourceManager将作业的信息发送到NodeManager,NodeManager根据提交的作业信息,检查其节点上的资源,如果资源满足作业的要求,则将作业的信息发送给ApplicationMaster;
3.ApplicationMaster负责管理整个作业的执行,会根据作业的要求,将作业分割成多个任务,并将任务发送给NodeManager;
4.NodeManager根据ApplicationMaster发送的任务,在节点上启动Executor,Executor负责实际执行任务;
5.Executor在完成任务后,将任务执行结果发送给ApplicationMaster;
6.ApplicationMaster收集所有任务的执行结果,将任务的结果发送给ResourceManager;
7.ResourceManager将作业的结果发送给用户,完成整个作业的提交过程。
相关文章