用于并行进程的 Python 多处理

Well, my situation is that I have to compute many numpy matrices and I need to store them in a single numpy matrix afterwards. Let's say I want to use 20 cores (or that I can use 20 cores) but I haven't managed to successfully use the pool resource since it keeps the processes alive till the pool "dies". So I thought on doing something like this:

from multiprocessing import Process, Queue  
import numpy as np  

def f(q,i):  
     q.put( np.zeros( (4,4) ) ) 

if __name__ == '__main__':   
     q = Queue()   
     for i in range(30):   
          p = Process(target=f, args=(q,))  
          p.start()  
          p.join()  
     result = q.get()  
     while q.empty() == False:
          result += q.get()  
     print result

但是看起来这些进程不是并行运行的，而是按顺序运行的(如果我错了，请纠正我)而且我不知道它们在计算后是否会死掉(所以超过 20处理那些完成了他们的工作的那些，让核心空闲给另一个进程).另外，对于一个非常大的数字(比如 100.000)，将所有这些矩阵(可能也很大)存储在一个队列中会占用大量内存，从而使代码变得无用，因为我们的想法是将每个结果都放在每次迭代中在最终结果中，就像使用了一个锁(以及它的 acquire() 和 release() 方法)，但是如果这段代码不是用于并行处理，那么锁也是无用的......

def f(i):  
    return i*np.identity(4)

if __name__ == '__main__':
    p=Pool(5)
    result = np.zeros((4,4))
    def adder(value):
        global result
        result += value

    for i in range(30):
        p.apply_async(f, args=(i,), callback=adder)
    p.close()
    p.join()
    print result

if __name__ == '__main__':
    p=Pool(5)
    result = np.zeros((4,4))

    im = p.imap_unordered(f, range(30), chunksize=5)

    for x in im:
        result += x

    print result