mac下如何搭建Spark开发环境

Mac下搭建Spark开发环境

1.下载Spark

从Spark官网下载Spark。我下载的是spark-2.4.0-bin-hadoop2.7.tgz。

2.解压Spark

将下载的Spark解压到指定目录，我将其解压到了/usr/local目录下。

3.配置环境变量

打开终端，输入以下命令，编辑环境变量配置文件：

sudo vi ~/.bash_profile

在打开的文件中输入以下内容：

export SPARK_HOME=/usr/local/spark-2.4.0-bin-hadoop2.7 export PATH=$SPARK_HOME/bin:$PATH

保存文件并退出。

使环境变量立即生效：

source ~/.bash_profile

4.验证安装

输入以下命令，查看Spark版本：

spark-submit --version

如果安装成功，会看到类似于下面的输出：

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.4.0 /_/ Using Scala version 2.11.12, OpenJDK 64-Bit Server VM, 1.8.0_202 ...

恭喜你，Spark安装成功！