使用 pySpark 将 DataFrame 写入 mysql 表

2021-11-14 00:00:00 python pyspark apache-spark apache-spark-sql mysql

我正在尝试将记录插入到 MySql 表中.该表包含 id 和 name 作为列.

I am attempting to insert records into a MySql table. The table contains id and name as columns.

我在 pyspark shell 中执行如下操作.

I am doing like below in a pyspark shell.

name = 'tester_1'
id = '103'  
import pandas as pd
l = [id,name]

df = pd.DataFrame([l])

df.write.format('jdbc').options(
      url='jdbc:mysql://localhost/database_name',
      driver='com.mysql.jdbc.Driver',
      dbtable='DestinationTableName',
      user='your_user_name',
      password='your_password').mode('append').save()

我收到以下属性错误

AttributeError: 'DataFrame' 对象没有属性 'write'

我做错了什么?从 pySpark

推荐答案

使用 Spark DataFrame 而不是 pandas'，因为 .write 仅适用于 Spark Dataframe

Use Spark DataFrame instead of pandas', as .write is available on Spark Dataframe only

所以最终的代码可能是

data =['103', 'tester_1']

df = sc.parallelize(data).toDF(['id', 'name'])

df.write.format('jdbc').options(
      url='jdbc:mysql://localhost/database_name',
      driver='com.mysql.jdbc.Driver',
      dbtable='DestinationTableName',
      user='your_user_name',
      password='your_password').mode('append').save()

相关文章