Spark应用程序和日志MDC(映射诊断上下文)

我正在寻找一种方法，将我的驱动程序的MDC转发给主程序和工作程序，以便我可以识别来自同一操作的消息？例如，我有一个与应用程序相关的查询/作业ID，我希望将其附加到我的Spark Worker中的结构化日志消息中。

• 不可能？
• 未记录？
• 很简单，但我太傻了，找不到？

问候您。

---

解决方案

如果我对PR理解正确(我是Spark新手)，那么从版本3.1开始 现在应该可以通过spark.sparkContext.setLocalProperty("mdc." + name, "value")将自定义条目添加到MDC。