我可以将map/imap/imap_unordered与没有参数的函数一起使用吗?

2022-04-10 00:00:00 python python-multiprocessing

问题描述

有时我需要对不带参数的函数使用多处理。我希望我能做这样的事情:

from multiprocessing import Pool

def f():  # no argument
    return 1

# TypeError: f() takes no arguments (1 given)
print Pool(2).map(f, range(10))

我可以做Process(target=f, args=()),但我更喜欢map/imap/imap_unordered的语法。有办法做到这一点吗?


解决方案

map函数的第一个参数应该是函数,并且它应该接受一个参数。这是必需的,因为作为第二个参数传递的迭代值将被迭代,并且值将在每次迭代中逐个传递给函数。

因此,最好的方法是重新定义f以接受一个参数并忽略它,或者编写一个带有一个参数的包装函数,忽略该参数并返回f的返回值,如下所示

from multiprocessing import Pool

def f():  # no argument
    return 1

def throw_away_function(_):
    return f()

print(Pool(2).map(throw_away_function, range(10)))
# [1, 1, 1, 1, 1, 1, 1, 1, 1, 1]

您不能对池使用lamdba函数,因为它们不可拾取。

相关文章