如何在多进程中启动100个工人？

问题描述

我尝试使用python调用我的函数，my_function()100次。由于my_function需要一段时间才能运行，我希望将此进程并行化。

我尝试阅读https://docs.python.org/3/library/multiprocessing.html的文档，但找不到启动100个工作人员的简单示例。顺序并不重要；我只需要该函数运行100次。

有什么建议/代码提示吗？

---

解决方案

您链接到的页面上的第一个示例可以正常工作。因此，我只需将其复制并粘贴到此处，然后更改两个值。

from multiprocessing import Pool

def f(x):
    return x*x

if __name__ == '__main__':
    with Pool(100) as p:
        print(p.map(f, range(100)))

编辑：您刚刚说您正在使用Google CoLab。我认为Google CoLab为您提供了两个CPU核心，而不是更多。(您可以通过运行!cat /proc/cpuinfo进行检查)。2个CPU核，一次只能执行两次计算。

因此，如果您的函数主要不是等待外部IO(例如来自网络)的东西，那么这就没有意义：您有50个执行在竞争一个内核。现代多处理的魔力在于，这意味着突然间，一个函数将被中断，其状态保存到RAM中，然后另一个函数可能运行一段时间，被中断，以此类推。

当然，整个进程状态的交换都是开销。只需并行运行与拥有内核一样多的实例，您的函数就会更快。有关详细信息，请阅读上述Pool上的文档。