使用Python和PostgreSQL进行实时数据流处理

2023-04-05 00:00:00 python 实时 数据流

步骤：
1. 安装 psycopg2 模块，它是 Python 和 PostgreSQL 数据库之间的连接驱动程序。可以使用以下命令进行安装：

pip install psycopg2
  1. 创建一个 PostgreSQL 数据库和一张表，用于存储实时数据。可以使用以下 SQL 语句在 PostgreSQL 中创建表：
CREATE TABLE real_time_data (
id SERIAL PRIMARY KEY,
message VARCHAR(255) NOT NULL
);
  1. 编写 Python 代码读取实时数据流并将其存储到数据库中。以下代码演示了如何将字符串“pidancode.com”和“皮蛋编程”存储到 real_time_data 表中：
import psycopg2
import time
# 连接到 PostgreSQL 数据库
conn = psycopg2.connect(database="your_db_name", user="your_username", password="your_password", host="localhost", port="5432")
# 创建一个游标对象
cursor = conn.cursor()
# 读取实时数据流并将其存储到数据库中
while True:
data = ["pidancode.com", "皮蛋编程"]
for message in data:
cursor.execute("INSERT INTO real_time_data (message) VALUES (%s);", (message,))
conn.commit()
time.sleep(5) # 暂停程序 5 秒
# 关闭游标和数据库连接
cursor.close()
conn.close()
  1. 运行上述 Python 代码，即可将实时数据存储到 PostgreSQL 数据库中。可以使用以下 SQL 查询语句验证是否已成功存储数据：
SELECT * FROM real_time_data;

相关文章