[大数据之Spark]——Actions算子操作入门实例

Actions

reduce(func)

Aggregate the elements of the dataset using a function func (which takes two arguments and returns one). The function should be commutative and associative so that it can be computed correctly in parallel.

这个方法会传入两个参数，计算这两个参数返回一个结果。返回的结果与下一个参数一起当做参数继续进行计算。

比如，计算一个数组的和。

//创建数据集
scala> var data = sc.parallelize(1 to 3,1)

scala> data.collect
res6: Array[Int] = Array(1, 2, 3)

//collect计算
scala> data.reduce((x,y)=>x+y)
res5: Int = 6