Spark1.0.0 应用程序部署工具spark-submit怎么用

2023-04-07 10:20:00 部署 应用程序 工具

.

Spark1.0.0 应用程序部署工具spark-submit是一个命令行工具,可以用来提交Spark应用程序。spark-submit支持多种不同的应用程序部署模式,包括:

1. 在本地运行应用程序。

2. 通过Spark Standalone部署应用程序。

3. 通过YARN部署应用程序。

4. 通过Mesos部署应用程序。

spark-submit的基本语法如下:

spark-submit [options] [app arguments]

其中,是应用程序的jar包或者python文件,[app arguments]是应用程序的参数。

spark-submit支持的选项包括:

1. --master : 设置部署模式。

2. --deploy-mode : 设置应用程序的部署模式,可以是“client”或者“cluster”。

3. --class

: 设置应用程序的主类。

4. --name : 设置应用程序的名称。

5. --jars : 设置应用程序依赖的jar包。

6. --py-files : 设置应用程序依赖的python文件。

7. --files : 设置应用程序依赖的非jar文件。

8. --conf = : 设置应用程序的配置参数。

9. --properties-file : 设置应用程序的配置文件。

相关文章