如果最耗时的部分出现在Pox.waitid上,如何提高代码性能?

2022-04-20 00:00:00 python benchmarking cprofile

问题描述

我使用cprofile来分析一个python程序。最耗时的部分原来是Posix.waitid。我可以做些什么来提高代码性能?有关我的个人资料结果的一行内容,请参见下面的屏幕截图


解决方案

subprocess.call花费时间posix.waitpid

当您使用subprocess.call(other_process)时,它会启动另一个进程并等待其完成。如果另一个进程执行大量工作,则需要花费大量时间。

这就是您的分析器所显示的:大多数情况下,您都在等待其他进程完成。

很有可能,另一个进程实际上有充分的理由花费那么多时间,但探查器无法告诉您任何有关这方面的信息,因为它分析的是此进程,而不是其他进程。

import而不是call

您在注释中写道,您可以导入另一个脚本并运行它的Main函数。这肯定会减少创建新进程的开销,但很可能大部分时间实际上是在另一个进程的主要功能中。

至少使用import,所有内容都将在同一进程中运行,探查器将能够提供更多有用的信息。

另一方面,您想要一个子进程?

不清楚您最初为什么创建子进程,所以我猜您希望并行执行其代码。

好的,您可以启动子进程,而不是等待它完成:

而不是:

subprocess.call(other_process)

执行此操作:

process = subprocess.Popen(other_process)

# the code which follows is executed in parallel with the other process

现在子进程已启动,您可以使用process变量查看它何时结束。

其他选项:threadingmultiprocessing

如果要并行运行某些可以导入的代码,则threadingmultiprocessing模块很可能是比subprocess更好的选项。

相关文章