TalkingData的Spark On Kubernetes实践是怎样的

Spark on Kubernetes实践是怎样的

Spark on Kubernetes是一个开源项目，旨在将Spark运行在Kubernetes上。Kubernetes是一个容器编排和调度系统，可以自动化部署和管理应用程序。Spark on Kubernetes项目的目标是让用户能够使用Kubernetes的现有功能来部署和管理Spark应用程序。

Spark on Kubernetes项目包括一个Spark插件，可以让Spark运行在Kubernetes上。Spark插件使用Kubernetes的API来管理Spark任务。Spark插件还包括一个命令行工具，可以让用户在Kubernetes上运行Spark应用程序。

Spark on Kubernetes项目目前处于开发阶段，但是已经可以使用了。我们可以使用Spark on Kubernetes来部署和管理Spark应用程序。

Spark on Kubernetes的优势

使用Spark on Kubernetes可以获得一些优势：

部署简单：Spark on Kubernetes可以使用Kubernetes的现有功能来部署Spark应用程序。

管理简单：Spark on Kubernetes使用Kubernetes的API来管理Spark任务。

弹性伸缩：Spark on Kubernetes可以使用Kubernetes的伸缩功能来扩展Spark应用程序。

容器化：Spark on Kubernetes使用Docker容器来运行Spark应用程序。

Spark on Kubernetes的缺点

Spark on Kubernetes目前还处于开发阶段，还不是很稳定。

Spark on Kubernetes需要Kubernetes 1.5或更高版本。

Spark on Kubernetes目前只支持部署Spark应用程序，不支持Spark SQL或Spark Streaming。

Spark on Kubernetes的性能目前还不是很好。

Spark on Kubernetes使用的是Kubernetes的API，如果Kubernetes的API发生变化，Spark on Kubernetes也会受到影响。

Spark on Kubernetes目前还不支持HA。

Spark on Kubernetes使用的是Docker容器，如果Docker容器发生变化，Spark on Kubernetes也会受到影响。