Hadoop如何实现job提交

2023-04-08 00:24:00 hadoop 提交 如何实现

Hadoop通过一个名为JobTracker的master节点来管理整个分布式系统中的任务。当用户提交一个作业时,JobTracker会将作业分解成一系列的子任务,并将这些子任务分配给集群中的工作节点(work nodes)进行处理。

一旦作业的所有子任务都完成,JobTracker就会将结果汇总起来并返回给用户。

整个作业提交和处理的过程如下图所示:

![image](https://github.com/zhihuichanglu/hadoop-job-submission/raw/master/hadoop-job-submission.jpg)

相关文章