Python多处理。泳池在执行了很长时间后卡住了

问题描述

我正在开发一个分析大型文件的工具。为了更快地做到这一点，我在它上引入了多进程，一切似乎都很好。为了做到这一点，我使用了多进程.pool来创建N个线程，它们处理我之前创建的不同的工作块。

pool = Pool(processes=params.nthreads)
for chunk in chunk_list:
    pool.apply_async(__parallel_quant, [filelist, chunk, outfilename])

pool.close()
pool.join()

如您所见，这是标准池执行，没有特殊用法。

最近，当我运行大量数据时，我发现了一个问题。标准的执行需要16个线程大约2个小时，但我有一个特例需要大约8个小时，因为它的文件量和大小都很大。

问题是，最近我发现当我执行这个案例时，执行一直运行得很好，直到完成，大多数孩子都正常地完成了，除了一个孩子被塞住了

<built-in method recv of _multiprocessing.Connection object at remote 0x3698db0>

由于此子进程未完成，因此父进程不会唤醒并停止执行。

只有在输入文件非常大时才会出现这种情况，所以我想知道是否有任何类型的默认超时会导致此问题。

我使用的是python2.7 多处理0.70a1

我的机器是Centos 7(32核，64 GB内存)

提前感谢您的帮助

乔迪

---

解决方案

摘自多进程编程指南：

避免共享状态

As far as possible one should try to avoid shifting large amounts of data between processes.

如果您必须将文件处理拆分为多个进程，最好指示它们如何检索文件区块，而不是发送区块本身。

尝试将块偏移量和块大小传递给子进程。它可以使用Open()和Seek()从文件中检索块。您还会注意到性能提升和内存占用减少。