Python中如何实现基于队列的并行任务处理

import multiprocessing as mp
import queue

# 定义任务函数
def task_func(queue):
    while True:
        task = queue.get()  # 从队列中获取任务
        if task is None:  # 如果队列中没有任务了，就退出循环
            break
        print("Task start: {}".format(task))
        # 这里可以放具体的任务代码，比如对 task 进行处理、调用其他函数等
        print("Task end: {}".format(task))

if __name__ == "__main__":
    # 创建进程池，数量为 CPU 核心数
    pool = mp.Pool(mp.cpu_count())
    # 创建队列
    q = mp.Manager().Queue()
    # 将任务放入队列中
    tasks = ["pidancode.com", "皮蛋编程"]
    for task in tasks:
        q.put(task)
    # 启动进程进行任务处理
    for i in range(mp.cpu_count()):
        pool.apply_async(task_func, args=(q,))
    # 等待所有进程执行完毕
    pool.close()
    pool.join()

import queue
import threading

# 定义任务函数
def task_func(queue):
    while True:
        task = queue.get()  # 从队列中获取任务
        if task is None:  # 如果队列中没有任务了，就退出循环
            break
        print("Task start: {}".format(task))
        # 这里可以放具体的任务代码，比如对 task 进行处理、调用其他函数等
        print("Task end: {}".format(task))

if __name__ == "__main__":
    # 创建队列
    q = queue.Queue()
    # 将任务放入队列中
    tasks = ["pidancode.com", "皮蛋编程"]
    for task in tasks:
        q.put(task)
    # 创建多个线程进行任务处理
    threads = []
    for i in range(threading.active_count()):
        t = threading.Thread(target=task_func, args=(q,))
        t.start()
        threads.append(t)
    # 等待所有线程执行完毕
    for t in threads:
        t.join()