Spark中yarn-site.xml的最小化怎么配置
Spark on YARN的最小化配置是指将Spark的executor和application master运行在YARN的NodeManager上,而不是YARN的ResourceManager上。这样做的好处是减少了YARN的资源开销,同时也能够更好地利用YARN的资源。
要实现Spark on YARN的最小化配置,需要在Spark的配置文件中(spark-defaults.conf)添加以下配置:
spark.yarn.jars=
spark.yarn.archive=
spark.yarn.am.memory=
spark.yarn.am.cores=
spark.executor.instances=
spark.executor.cores=
spark.executor.memory=
要注意的是,由于Spark on YARN的最小化配置将Spark的executor和application master运行在YARN的NodeManager上,因此需要确保YARN的NodeManager能够访问Spark的master节点。
相关文章