Python中如何实现基于队列的分布式自然语言处理任务处理

from multiprocessing import Queue

# 创建一个消息队列
queue = Queue()

import time

def process_task(queue):
    while True:
        task = queue.get()
        if task is None:
            break
        # 模拟处理任务需要一定时间
        time.sleep(2)
        # 处理完成后将结果放回消息队列
        queue.put(task.upper())

import multiprocessing

if __name__ == '__main__':
    # 创建消息队列
    queue = multiprocessing.Queue()

    # 创建进程池，启动多个进程并行处理任务
    pool = multiprocessing.Pool(processes=4, initializer=process_task, initargs=(queue,))

    # 向消息队列中放入任务
    for text in ["pidancode.com", "皮蛋编程"]:
        queue.put(text)

    # 发送信号让进程池的进程退出
    for i in range(pool._processes):
        queue.put(None)

    # 等待所有进程处理完毕
    pool.close()
    pool.join()

    # 从消息队列中获取所有任务处理结果
    results = []
    while not queue.empty():
        results.append(queue.get())

    print(results)