如何用MapReduce求各个部门的总工资
MapReduce是一种编程模型,用于处理大规模数据集。它包括两个阶段:Map阶段和Reduce阶段。
Map阶段:
Map阶段的作用是将输入数据集中的每个数据项转换成一个< key, value >对的形式。其中,key是用于对数据集进行分组的键,value是输入数据集中的数据项。
Reduce阶段:
Reduce阶段的作用是对Map阶段输出的< key, value >对进行分组,然后对每组< key, value >对应的value列表进行计算。其中,key是用于对数据集进行分组的键,value是输入数据集中的数据项。
要求:
使用MapReduce编程模型,计算出各个部门的总工资。
输入数据:
部门编号,员工编号,工资
1,1,2000
1,2,3000
2,3,4000
2,4,5000
输出数据:
部门编号,总工资
1,5000
2,9000
相关文章