Python多处理队列未实现错误MacOS

问题描述

系统信息

• python3.8.7
• OS 11.1(大苏尔)
• 通过brew install python@3.8
安装的Python

要在Big Sur和很可能更旧的版本上复制：

import multiprocessing as mp


if __name__ == '__main__':
    exp_queue = mp.Queue()
    print(exp_queue.qsize())

结果：

  File "/Users/username/Library/Application Support/JetBrains/PyCharm2020.3/scratches/scratch.py", line 5, in <module>
    print(exp_queue.qsize())
  File "/usr/local/Cellar/python@3.8/3.8.7/Frameworks/Python.framework/Versions/3.8/lib/python3.8/multiprocessing/queues.py", line 120, in qsize
    return self._maxsize - self._sem._semlock._get_value()
NotImplementedError

看起来在multiprocessing/queues.py line 120中写这篇文章的人知道这个问题，但我找不到解决方案：

def qsize(self):
    # Raises NotImplementedError on Mac OSX because of broken sem_getvalue()
    return self._maxsize - self._sem._semlock._get_value()

---

解决方案

正如Víctor Terrón在GitHub讨论中建议的那样，您可以使用他的实现：

https://github.com/vterron/lemon/blob/d60576bec2ad5d1d5043bcb3111dff1fcb58a8d6/methods.py#L536-L573

根据文件：

多处理的可移植实现。队列。 由于多线程/多处理语义，Queue.qsize()可能 在Mac OS X等Unix平台上引发NotImplementedError异常 其中未实现sem_getvalue()。这个子类解决了这个问题 使用同步的共享计数器(初始化为零)和 每次使用put()和get()方法时增加/减少它的值 分别被称为。这不仅可以防止NotImplementedError 被提出，但也允许我们实现两者的可靠版本 QSize()和Empty()。