Skip to main content
 首页 » 编程设计

python之mpi4py 分散和收集大型 numpy 数组

2025年04月02日21freeliver54

我正在尝试使用 mpi4py 在大型 numpy 数组上并行化一些操作。我目前正在使用 numpy.array_split 将数组分成 block ,然后使用 com.scatter 将数组发送到不同的核心,然后使用 comm.gather 收集结果数组。下面是一个最小的(不是)工作示例:

import numpy as np 
from mpi4py import MPI 
 
 
comm = MPI.COMM_WORLD 
size = comm.Get_size() 
rank = comm.Get_rank() 
 
if rank == 0: 
    test = np.random.rand(411,48,52,40) 
    test_chunks = np.array_split(test,size,axis=0) 
 
else: 
    test_chunks = None 
 
test_chunk = comm.scatter(test_chunks,root=0) 
output_chunk = np.zeros([np.shape(test_chunk)[0],128,128,128]) 
 
for i in range(0,np.shape(test_chunk)[0],1): 
    print(i) 
    output_chunk[i,0:48,0:52,0:40] = test_chunk[i] 
 
outputData = comm.gather(output_chunk,root=0) 
 
 
if rank == 0: 
    outputData = np.concatenate(outputData,axis = 0) 

运行这个给我错误:

  File "test_4d.py", line 23, in <module> 
    outputData = comm.gather(output_chunk,root=0) 
  File "Comm.pyx", line 869, in mpi4py.MPI.Comm.gather (src/mpi4py.MPI.c:73266) 
  File "pickled.pxi", line 614, in mpi4py.MPI.PyMPI_gather (src/mpi4py.MPI.c:33592) 
  File "pickled.pxi", line 146, in mpi4py.MPI._p_Pickle.allocv (src/mpi4py.MPI.c:28517) 
  File "pickled.pxi", line 95, in mpi4py.MPI._p_Pickle.alloc (src/mpi4py.MPI.c:27832) 
SystemError: Negative size passed to PyString_FromStringAndSize 

这个错误似乎是由于 gather 收集的 numpy 数组过大造成的;由于 scatter 和 gather 将数组作为数组列表发送,因此很容易超出列表大小。我遇到的一个建议是使用 comm.Scatter 和 comm.Gather。但是,我正在努力寻找这些功能的明确文档,并且到目前为止一直无法成功实现它们。例如:

替换

outputData = comm.gather(output_chunk,root=0)

用线

outputData=comm.Gather(sendbuf[test_chunks,MPI.DOUBLE],recvbuf=output_chunk,MPI.DOUBLE],root=0)

给出错误:

  File "Comm.pyx", line 415, in mpi4py.MPI.Comm.Gather (src/mpi4py.MPI.c:66916) 
  File "message.pxi", line 426, in mpi4py.MPI._p_msg_cco.for_gather (src/mpi4py.MPI.c:23559) 
  File "message.pxi", line 355, in mpi4py.MPI._p_msg_cco.for_cco_send (src/mpi4py.MPI.c:22959) 
  File "message.pxi", line 111, in mpi4py.MPI.message_simple (src/mpi4py.MPI.c:20516) 
  File "message.pxi", line 51, in mpi4py.MPI.message_basic (src/mpi4py.MPI.c:19644) 
  File "asbuffer.pxi", line 108, in mpi4py.MPI.getbuffer (src/mpi4py.MPI.c:6757) 
  File "asbuffer.pxi", line 50, in mpi4py.MPI.PyObject_GetBufferEx (src/mpi4py.MPI.c:6093) 
TypeError: expected a readable buffer object 

或行:

outputData = comm.Gather(sendbuf=test_chunks, recvbuf=output_chunk,root=0) 

给出错误:

  File "test_4d_2.py", line 24, in <module> 
    outputData = comm.Gather(sendbuf=test_chunks, recvbuf=output_chunk,root=0) 
  File "Comm.pyx", line 415, in mpi4py.MPI.Comm.Gather (src/mpi4py.MPI.c:66916) 
  File "message.pxi", line 426, in mpi4py.MPI._p_msg_cco.for_gather (src/mpi4py.MPI.c:23559) 
  File "message.pxi", line 355, in mpi4py.MPI._p_msg_cco.for_cco_send (src/mpi4py.MPI.c:22959) 
  File "message.pxi", line 111, in mpi4py.MPI.message_simple (src/mpi4py.MPI.c:20516) 
  File "message.pxi", line 60, in mpi4py.MPI.message_basic (src/mpi4py.MPI.c:19747) 
TypeError: unhashable type: 'numpy.ndarray' 

此外,输入矩阵 test 的大小也可能会增加,这可能会导致 comm.scatter 出现类似的问题。除了我在使用 comm.Gather 时遇到的问题,我不确定如何设置 comm.Scatter,因为 recvbuf 是基于定义的test_chunk 的大小,它是 comm.scatter 的输出,因此我无法在 comm 中指定 recvbuf。分散。

请您参考如下方法:

解决方案是使用 comm.Scatterv 和 comm.Gatherv 发送和接收数据作为内存块,而不是 numpy 数组列表,得到围绕数据大小问题。 comm.Scatterv 和 comm.Gatherv 假定内存中的 C 顺序(行优先)数据 block ,并且有必要指定两个向量,sendcounts 和 位移。 Sendcounts 给出分割输入数据的位置的整数值(索引)(即发送到给定核心的每个向量的起点),而 displacements给出该向量的长度。因此,可以改变发送到每个内核的数据量。可以在此处找到更多详细信息:http://materials.jeremybejarano.com/MPIwithPython/collectiveCom.html

此处给出了使用 comm.Scatterv 和 comm.Gatherv 二维矩阵的示例: Along what axis does mpi4py Scatterv function split a numpy array?