如何进行基于spark之上的卓越性能分析
Spark性能分析的基本步骤如下:
1. 使用“spark.eventLog.enabled”参数启用Spark事件日志记录;
2. 在Spark集群的每个节点上运行“spark-submit”命令,将事件日志记录到HDFS上的某个目录;
3. 使用“spark.eventLog.dir”参数指定日志目录;
4. 使用“spark.eventLog.compress”参数指定是否对日志进行压缩;
5. 启动Spark History Server,使用“spark.eventLog.dir”指定日志目录;
6. 在浏览器中输入“http://
相关文章