Spark API编程中在Spark 1.2版本如何实现对Job输出结果进行排序
在Spark 1.2中,如何实现对Job输出结果进行排序?
在Spark 1.2版本中,可以通过Spark的sortBy函数对Job的输出结果进行排序。sortBy函数接收一个函数作为参数,该函数用于指定如何根据输出结果中的每个元素来进行排序。下面是一个简单的例子:
val data = Array(("a", 1), ("b", 2), ("c", 3), ("d", 4), ("e", 5))
val rdd = sc.parallelize(data)
// 按照第二个元素的值进行排序
val sortedRDD = rdd.sortBy(_._2)
sortedRDD.collect().foreach(println)
输出结果:
(a,1)
(b,2)
(c,3)
(d,4)
(e,5)
相关文章