Hadoop中yarn和mapreduce的示例分析

1. Hadoop中yarn和mapreduce的示例分析

在Hadoop中，yarn和mapreduce是两个不同的框架，yarn负责资源管理，mapreduce负责数据处理。下面我们通过一个简单的例子来分析它们之间的工作原理。

假设我们有一个1G大小的文件，我们希望对这个文件进行数据处理，并得到结果。

首先，我们需要将这个文件分割成多个小文件，这就是mapreduce中的map阶段，我们可以将这个文件分割成10个小文件，每个小文件大小为100M。

然后，我们需要对这些小文件进行数据处理，这就是mapreduce中的reduce阶段，我们可以将这些小文件的数据处理结果合并起来得到我们想要的结果。

在这个过程中，yarn负责资源管理，将我们的文件分配给不同的机器进行处理，并将处理结果汇总起来得到我们想要的结果。