python使用多线程操作sqlite3

2023-02-27 00:00:00 python 操作多线程

在Python中，可以使用标准库sqlite3来操作SQLite数据库。如果在多线程环境下同时对数据库进行读写操作，可能会导致数据不一致或者出现其他问题。为了避免这些问题，可以使用以下几种方式来实现多线程下的SQLite操作：

1、每个线程使用独立的连接
在多个线程中使用不同的连接来访问SQLite数据库，这样可以避免多个线程之间的竞争。每个线程使用独立的连接，并且需要在每个线程中打开和关闭连接，以确保线程安全。

import sqlite3
import threading

def worker():
    connection = sqlite3.connect("test.db")
    cursor = connection.cursor()
    cursor.execute("SELECT * FROM table")
    rows = cursor.fetchall()
    connection.close()
    print(rows)

threads = []
for i in range(10):
    t = threading.Thread(target=worker)
    threads.append(t)
    t.start()

for t in threads:
    t.join()

2、使用连接池
使用连接池来管理多个连接，这样可以避免在多个线程中频繁地打开和关闭连接。连接池可以保证每个线程使用不同的连接，从而避免多个线程之间的竞争。

Python标准库sqlite3并没有提供连接池，但是可以使用第三方库pysqlite来实现连接池。

import pysqlite3
import threading
from queue import Queue

class ConnectionPool:
    def __init__(self, database, size=5):
        self.database = database
        self.size = size
        self.connections = Queue(maxsize=size)
        for i in range(size):
            self.connections.put(pysqlite3.connect(database))

    def get_connection(self):
        return self.connections.get()

    def release_connection(self, connection):
        self.connections.put(connection)

pool = ConnectionPool("test.db")

def worker():
    connection = pool.get_connection()
    cursor = connection.cursor()
    cursor.execute("SELECT * FROM table")
    rows = cursor.fetchall()
    pool.release_connection(connection)
    print(rows)

threads = []
for i in range(10):
    t = threading.Thread(target=worker)
    threads.append(t)
    t.start()

for t in threads:
    t.join()

在这个示例中，我们创建了一个ConnectionPool类来管理多个连接。在每个线程中，使用pool.get_connection()方法获取一个连接，并使用pool.release_connection(connection)方法释放连接。连接池的大小可以根据需要进行调整。

需要注意的是，使用连接池时需要确保每个线程都能够正确地释放连接，否则可能会导致连接池中的连接被占用完而无法获取新的连接。可以使用with语句来确保连接被正确释放，例如：

def worker():
    with pool.get_connection() as connection:
        cursor = connection.cursor()
        cursor.execute("SELECT * FROM table")
        rows = cursor.fetchall()
        print(rows)

这样可以确保在with块结束时自动调用pool.release_connection(connection)方法释放

相关文章