Spark中RDD依赖分为哪几种

2023-04-07 12:48:00 依赖 几种 分为

Spark中RDD依赖分为两种:父RDD依赖和子RDD依赖。父RDD依赖指的是父RDD对子RDD的依赖,子RDD依赖指的是子RDD对父RDD的依赖。

父RDD依赖一般分为两种:

1. One-to-one依赖:一个父RDD有一个子RDD,这种依赖是最常见的依赖。

2. Many-to-one依赖:一个父RDD有多个子RDD,这种依赖一般用于reduceByKey和combineByKey算子。

子RDD依赖一般分为两种:

1. One-to-many依赖:一个子RDD对多个父RDD有依赖,这种依赖一般用于groupByKey和join算子。

2. Many-to-many依赖:一个子RDD对多个父RDD有依赖,这种依赖一般用于cogroup算子。

相关文章