Skip to main content
 首页 » 编程设计

python之任何加速从磁盘读取数据并将其转换为 numpy 数组以供进一步处理的解决方案

2025年05月04日8zhoujg

是否有任何解决方案可以加速从磁盘读取栅格数据并将其转换为 numpy 数组以供进一步处理?我真的很累,因为以下代码需要几天时间才能读取(并转换为 numpy 数组)数千个文件。

import glob, gdal, numpy as np 
tiff_files = glob.glob('*.tif')     
all_data = [] 
for f in tiff_files: 
    data_open = gdal.Open(f) 
    data_array = data_open.ReadAsArray().astype(np.float32)  
    all_data.append(data_array) 

如何为上述情况应用多处理?

请您参考如下方法:

这并不难,因为您的 tiff_files 已经是一个列表,一个重要的问题是顺序是否重要 - 结果是否必须与原始文件的顺序相同。如果不是

from multiprocessing import Pool 
from multiprocessing import cpu_count 
 
 
def handle_tiff(some_file): 
    data_open = gdal.Open(some_file) 
    data_array = data_open.ReadAsArray().astype(np.float32)  
    return data_array 
 
tiff_files = glob.glob('*.tif')  
p = Pool(cpu_count()- an_integer) 
all_data = p.map(handle_tiff, tiff_files) 

在上面的代码中,您可以只使用 cpu_count 而无需减去整数。

在回答您的问题时,some_file 是列表 tiff_files 中的路径。请注意,p.map 将列表 tiff_files 中的每个项目映射到函数 handle_tiff 并生成一些线程。该列表被分成离散的 block ,每个 block 分配给不同的线程。然后将每个 block 中的文件路径依次提交给该函数。