为什么在Python中没有报告来自多处理的错误,以及如何打开报告错误?

2022-04-10 00:00:00 python python-multiprocessing

问题描述

我设置了一些简单的代码来测试多处理的一些问题处理,我无法跟踪该代码中的错误,因为没有来自进程的反馈。既然我现在对它视而不见,我怎么能从子进程接收子进程的异常。如何调试此代码。

# coding=utf-8
import multiprocessing
import multiprocessing.managers
import logging

def callback(result):
  print multiprocessing.current_process().name, 'callback', result

def worker(io_lock, value):
  # error
  raise RuntimeError()
  result = value + 1
  with io_lock:
    print multiprocessing.current_process().name, value, result
  return result

def main():
  manager = multiprocessing.Manager()
  io_lock = manager.Lock()
  pool = multiprocessing.Pool(multiprocessing.cpu_count())
  for i in range(10):
    print pool.apply_async(worker, args=(io_lock, i), callback = callback)
  pool.close()
  pool.join()

if __name__ == '__main__':
  logging.basicConfig(level = logging.DEBUG)
  main()

解决方案

您可以尝试、捕获和记录工作进程内发生的异常。大概是这样的

def worker(io_lock, value):
    try:
        raise RuntimeError('URGH') # Or do your actual work here
    except:
        logging.exception('Exception occurred: ')
        raise  # Re-raise the exception so that the process exits 

异常日志处理程序将自动包括堆栈跟踪。

相关文章