将python模块导入Databricks中的python脚本

问题描述

我正在Azure DataFactory中处理一个项目，并且我有一个运行Databricks python脚本的管道。这个特定的脚本位于Databricks文件系统中，由ADF管道运行，它从位于同一文件夹(两个脚本都位于dbfs:/FileStore/code中)的另一个Python脚本导入模块。

下面的代码可以将python模块导入Databricks笔记本，但在导入python脚本时不起作用。

sys.path.insert(0,'dbfs:/FileStore/code/')
import conn_config as Connect

在集群日志中，我得到： Import Error: No module named conn_config

我猜这个问题与python文件无法识别Databricks环境有关。有什么帮助吗？

---

解决方案

我终于用电光完成了。创建电光会话后(如果您的集群集成了电光会话，则无需发起会话)：

spark.sparkContext.addPyFile("dbfs:/FileStore/code/conn_config.py")
import conn_config as C

此语法可以将python模块导入到从Azure DataFactory运行的python脚本。