在 K8S 部署一个 Spark History Server - 篇1

1 Overview

要在 K8S 集群中部署一套 Spark History Server，首先要了解，怎么部署一个本地版本。然后就是了解一些基本的 K8S 相关的知识点。后就是两部分知识结合起来，看看业界流行的方案是如何实现的。

Spark History Server 缩写成 HS

2 Spark History Server 本地试玩

其实 Spark 官网关于如何部署 Spark History Server 是有很详细的说明的。这里以 Spark 2.3.0 为例。

https://spark.apache.org/docs/2.3.0/monitoring.html

总体来说 start-history-server.sh，可以启动 HS 的进程。

默认通过访问 18080 端口，就可以将 job 的历史信息（注意还包括 on-going，也就是正在运行的 job）。

Spark Job 需要打开两个配置。

spark.eventLog.enabled true
spark.eventLog.dir hdfs://namenode/shared/spark-logs