如何识别一个进程在Python多处理上的CPU核ID?

问题描述

我正在使用Slurm在集群上测试Python的multiprocessing模块。我想绝对确保我的每个任务实际上都像我希望的那样在不同的CPU核心上运行。由于配置Slurm的可能性很多,因此这一点并不明显。

因此,我想知道是否有一种方法可以从正在运行的Python任务中获取核心特定信息。我需要我的Python脚本来获取有关它正在运行的内核的信息,以便区分不同的内核。

请考虑以下脚本。启动10项任务。有没有办法让他们每个人都打印关于他们被分配到的核心的核心特定信息?

import multiprocessing

def hello():
    print "Hello World"

pool = multiprocessing.Pool()
jobs = []
for j in range(10):
    p = multiprocessing.Process(target = hello)
    jobs.append(p)
    p.start()

我找到的here和here模块提供了特定于CPU的信息,但这些是关于可用CPU的,而不是运行时的核心信息。


解决方案

在Linux、FreeBSD、SunOS上,您可以使用psutil-模块:

psutil.Process().cpu_num()
请注意,只要您不同时设置CPU亲和性,您的操作系统就会任意地将执行迁移到不同的核心。默认情况下,不会将进程分配给特定的核心,通常最好是让您的操作系统决定运行哪些核心。

相关文章