在Run_in_Executor中运行图像处理。适应多处理

问题描述

嘿，我在使用Fastapi异步构建的API上运行了大量的图像操作。我希望能够异步运行图像处理。因此，我使用了Run_in_Executor，我相信它是在一个单独的线程中运行的。然而，有人告诉我，改用python多处理更好。搬家有什么好处吗？

import asyncio
import functools

from app.exceptions.errors import ManipulationError


def executor(function):
    @functools.wraps(function)
    def decorator(*args, **kwargs):
        try:
            partial = functools.partial(function, *args, **kwargs)
            loop = asyncio.get_event_loop()
            return loop.run_in_executor(None, partial)
        except Exception:
            raise ManipulationError("Uanble To Manipulate Image")

    return decorator

我制作此修饰器是为了将我的阻塞函数包装为在Executor中运行。

两个问题

a)转移到多进程是否有任何优势

b)我该如何操作

---

解决方案

a)转移到多进程是否有任何优势

是，在处理CPU受限的情况下使用多核。

b)我该如何操作

将ProcessPoolExecutor的实例传递给run_in_executor。(您现在传递的None值意味着使用asyncio提供的默认执行程序，它是ThreadPoolExecutor。)例如(未测试)：

_pool = concurrent.futures.ProcessPoolExecutor()

def executor(function):
    @functools.wraps(function)
    def decorator(*args):
        loop = asyncio.get_event_loop()
        return loop.run_in_executor(_pool, function, *args)

    return decorator

这还要求函数的所有参数都是可序列化的，以便可以将它们传输到子进程。