Spark中yarn-site.xml的最小化怎么配置

2023-04-07 12:04:00 Spark yarn

Spark on YARN的最小化配置是指将Spark的executor和application master运行在YARN的NodeManager上,而不是YARN的ResourceManager上。这样做的好处是减少了YARN的资源开销,同时也能够更好地利用YARN的资源。

要实现Spark on YARN的最小化配置,需要在Spark的配置文件中(spark-defaults.conf)添加以下配置:

spark.yarn.jars=

spark.yarn.archive=

spark.yarn.am.memory=

spark.yarn.am.cores=

spark.executor.instances=

spark.executor.cores=

spark.executor.memory=

要注意的是,由于Spark on YARN的最小化配置将Spark的executor和application master运行在YARN的NodeManager上,因此需要确保YARN的NodeManager能够访问Spark的master节点。

相关文章