使全局变量可从每个进程访问

2022-04-10 00:00:00 python multiprocessing global pyevolve

问题描述

我是新手,开始使用遗传算法(GA)进行某种曲线拟合。对于那个GA,我使用的是(很棒的)PYEVERVE库 (http://pyevolve.sourceforge.net/),通过使用多处理,可以极大地减少计算时间。

这就是我的问题所在:我想要近似的曲线是从EXCEL文件中读取的数组,并在程序开始时存储为全局变量。在使用Python多处理模块时,每个进程都会使用自己的全局变量创建自己的Python实例。这导致在算法的每一代(即每一进程)中的每一个人一次又一次地打开和阅读Excel文件。打开大的Excel文件可能会耗费大量时间,因此,如果只需打开该文件一次,并使读取数组可供每个进程/个人使用,那就太好了。

多进程是在pyevedve库中启动的,我不想为了使其易于更新而对其进行更改。遗憾的是,这意味着只需将变量通过 例如

p = Process(target=my_func,args=(my_array))

不是我的选择。这是我到目前为止找到的唯一解决方案。

有没有人知道让每个进程都可以访问my_ray的其他方法?


解决方案

我只是想让您知道,如果其他人面临这个问题,我是如何解决的:

我的解决方案不适用于一般的与python相关的问题,但在使用pyevve时会有所帮助,在我的例子中就足够了。我不知道的是,在PYEVERVE中,您可以通过

将参数添加到您的基因组或遗传算法实例中

my_genome.setParams(xyz=my_array)my_ga.setParams(xyz=my_array)

这些参数可以通过

访问

my_genome.getParam('xyz')my_ga.getParam('xyz')

每个进程都可以访问这些参数,所以我的问题就解决了,我不需要考虑一般的python多进程问题。 我希望这对任何人都有帮助!

相关文章