Hadoop计算中的Shuffle是怎么样的

2023-04-14 01:45:00 shuffle hadoop 计算

Hadoop的Shuffle是一个用于数据传输和排序的过程。它包括三个阶段:分区、排序和合并。

在分区阶段,Mapper将输入数据切分成多个分区,并将每个分区的数据发送到相应的Reducer。

在排序阶段,Reducer对接收到的数据进行排序。

在合并阶段,Reducer将排序后的数据合并成一个最终的结果。

相关文章