如何进行基于spark之上的卓越性能分析

2023-04-07 10:22:00 分析 性能 Spark

Spark性能分析的基本步骤如下:

1. 使用“spark.eventLog.enabled”参数启用Spark事件日志记录;

2. 在Spark集群的每个节点上运行“spark-submit”命令,将事件日志记录到HDFS上的某个目录;

3. 使用“spark.eventLog.dir”参数指定日志目录;

4. 使用“spark.eventLog.compress”参数指定是否对日志进行压缩;

5. 启动Spark History Server,使用“spark.eventLog.dir”指定日志目录;

6. 在浏览器中输入“http://:18080”访问Spark History Server,查看相关信息。

相关文章