Spark中Worker和Master的作用是什么
Spark是一个分布式计算框架,它的架构由Master和Worker组成,它们分别负责不同的任务。
Master是Spark集群的中心节点,它负责管理整个集群,包括调度任务,管理资源,接收用户的提交任务,以及控制Worker节点的执行。它还负责接收来自Worker的状态信息,并将它们发送给用户,以便用户可以监控任务的执行情况。
Worker节点是Spark集群的工作节点,它们负责执行由Master节点调度的任务,并将结果返回给Master。Worker节点还负责管理自己节点上的资源,并将自身的状态(如内存使用情况)发送给Master。
总的来说,Spark的Master和Worker节点负责管理集群的资源,调度任务,执行任务,并将结果发送给用户,以便用户可以掌握任务的执行情况。
相关文章