Skip to main content
 首页 » 编程设计

python之MPI 分散分布大型 csv 文件

2025年04月02日16freeliver54

我有一个很大的 csv 文件,我需要处理每一行以计算一些单词。我需要使用一些 MPI 方法在多个进程之间分配数据处理。目前,我在 mpi4py 库中使用 scatter/gather。问题是我需要创建一个长度等于进程数的数组。但是在为大行数创建列表时出现内存错误。

size = comm.Get_size() 
f=open('x.csv') 
lines=[[] for _ in range(size)] 
for line in f: 
    # this line raises memory error after about 250000 rows are appended 
    lines[i%size].append(line) 

还有其他方法可以在这些进程之间传输大数据吗?

请您参考如下方法:

您基本上有以下选择:

  1. 以 block 的形式处理数据,例如读取 20 万行,分散,收集结果,重复。
  2. 在本地读取数据,例如1/size 每个等级的文件。这可能很难有效地做到。您无法有效地查找 csv 文件中的特定行。所以你必须按大小分隔文件,seek 到你拆分它的位置,找到下一个换行符并从那里开始工作,直到你的文件结束后的第一个换行 rune 件的一部分。
  3. 将两者结合起来。

但话又说回来,您可以逐行连续处理文件,在计算完文件的字数后丢弃每一行。

附言考虑 csv模块。