Hadoop如何实现job提交
Hadoop通过一个名为JobTracker的master节点来管理整个分布式系统中的任务。当用户提交一个作业时,JobTracker会将作业分解成一系列的子任务,并将这些子任务分配给集群中的工作节点(work nodes)进行处理。
一旦作业的所有子任务都完成,JobTracker就会将结果汇总起来并返回给用户。
整个作业提交和处理的过程如下图所示:
![image](https://github.com/zhihuichanglu/hadoop-job-submission/raw/master/hadoop-job-submission.jpg)
相关文章