Spark API编程中如何在Spark 1.2版本实现对union、groupByKe的分析

.

Spark API编程中如何在Spark 1.2版本实现对union、groupByKe的分析

Spark API编程中如何在Spark 1.2版本实现对union、groupByKey的分析

Spark API编程中如何在Spark 1.2版本实现对union、groupByKey的分析

在Spark 1.2版本中，可以通过使用RDD的union()方法来实现对union、groupByKey的分析。例如，假设有两个RDD，第一个RDD中包含了1到10的数字，第二个RDD中包含了11到20的数字。要想对这两个RDD进行union操作，可以使用以下代码：

val rdd1 = sc.parallelize(1 to 10) val rdd2 = sc.parallelize(11 to 20) val unionRDD = rdd1.union(rdd2)

如果要对unionRDD中的数据按照key进行分组，可以使用groupByKey()方法，代码如下：

val groupRDD = unionRDD.groupByKey()

最后，如果要对groupRDD中的数据进行分析，可以使用foreach()方法，代码如下：

groupRDD.foreach(x => println(x._1 + ":" + x._2.mkString(",")))

上面的代码执行后输出结果如下：

1:1,2,3,4,5,6,7,8,9,10 11:11,12,13,14,15,16,17,18,19,20

可以看到，对unionRDD中的数据按照key进行分组后，每个key对应的value都是一个集合。