多处理时调用Join()的位置

2022-04-10 00:00:00 python python-multiprocessing

问题描述

在Python中使用多进程时,我通常会看到在单独的循环中调用join()函数到每个进程的实际创建位置的示例。

例如:

processes = []

for i in range(10):
    p = Process(target=my_func)
    processes.append(p)
    p.start()

for p in processes:
    p.join()

比这个更常见:

processes = []

for i in range(10):
    p = Process(target=my_func)
    processes.append(p)
    p.start()
    p.join()

但根据我对join()的理解,它只是告诉脚本在该过程完成之前不要退出。因此,什么时候调用join()应该无关紧要。那么为什么通常在单独的循环中调用它呢?


解决方案

join()正在阻止操作。

在第一个示例中,您启动了10个进程,然后等待所有进程完成。所有进程同时运行。

在第二个示例中,您一次启动一个进程,在启动另一个进程之前等待完成。同一时间只有一个正在运行的进程

第一个示例:

def wait()
    time.sleep(1)

# You start 10 processes
for i in range(10):
    p = Process(target=wait)
    processes.append(p)
    p.start()

# One second after all processes can be finished you check them all and finish
for p in processes:
    p.join()

整个脚本的执行时间可以接近一秒。

第二个示例:

for i in range(10):
    p = Process(target=wait) # Here you start one process 
    processes.append(p)
    p.start()
    p.join() # Here you will have to wait one second before process finished.

整个脚本的执行时间可以接近10秒!。

相关文章