如何启动Spark集群

2023-04-07 12:45:00 集群 启动 Spark

.

Spark集群可以通过一台机器上的Spark Master和多台Slave机器组成。Spark Master负责调度作业的分配,Slave负责执行作业。

Spark集群的启动需要在每台机器上启动一个Spark进程,其中Spark Master进程需要指定一个端口,以便Slave进程连接。启动Spark Master进程的命令如下:

./sbin/start-master.sh -h host -p port

其中-h指定主机名,-p指定端口号。

启动Slave进程的命令如下:

./sbin/start-slave.sh spark://host:port

其中host和port分别指定Spark Master进程所在的主机名和端口号。

注意,在启动Slave进程时需要指定Spark Master的位置,这样Slave才能连接到Master并开始接收作业。

相关文章