怎样理解Spark中的Transformation和Action

2023-04-07 10:20:00 action 理解 Spark

Spark中的Transformation和Action是两个不同的概念,Transformation是对数据集中的数据进行操作,得到一个新的数据集,而Action是对数据集中的数据进行操作,得到一个结果。

Spark中的Transformation包括map、filter、flatMap、groupByKey、reduceByKey、sortByKey、join、cogroup等,这些操作都是对数据集中的数据进行操作,得到一个新的数据集。例如,我们可以使用map操作对数据集中的每一条数据进行操作,得到一个新的数据集;或者使用filter操作对数据集中的数据进行过滤,得到一个新的数据集;或者使用groupByKey操作对数据集中的数据进行分组,得到一个新的数据集。

Spark中的Action包括reduce、collect、count、take、saveAsTextFile、saveAsSequenceFile等,这些操作都是对数据集中的数据进行操作,得到一个结果。例如,我们可以使用reduce操作对数据集中的数据进行计算,得到一个结果;或者使用collect操作对数据集中的数据进行收集,得到一个结果;或者使用count操作对数据集中的数据进行计数,得到一个结果。

相关文章