如何进行Apache Spark源码分析Job的提交与运行

如何进行Apache Spark源码分析Job的提交与运行

分析Spark源码的Job提交与运行方式有很多种，常见的有两种：

spark-submit提交：

spark-submit命令可以提交一个Spark应用程序到集群上运行。spark-submit脚本位于$SPARK_HOME/bin目录下，它会调用Spark的主类来启动应用程序。

spark-submit需要指定应用程序的类名，以及应用程序所需要的任何参数。除此之外，spark-submit还可以指定Spark集群的运行模式（local、yarn、standalone），以及要使用的其他配置选项。

spark-shell提交：

spark-shell是Spark提供的一个交互式解释器，可以用来方便地调试Spark程序。spark-shell默认使用local模式运行，即在本地启动一个Spark集群来运行程序。

spark-shell也可以指定要使用的其他配置选项，例如指定Spark集群的运行模式（local、yarn、standalone）。同时，spark-shell还可以直接加载一个外部的Spark程序，并在交互式解释器中运行该程序。