Skip to main content
 首页 » 编程设计

python之python 中的并行计算比常规 for 循环慢得多

2025年05月04日10davidwang456

所以我尝试在 python 中做一些简单的图像分析,我有一个相关视频的 numpy 数组,它的形状为 (930, 256, 256),即分辨率为 256 的 930 帧256 像素。

我正在尝试并行进行种子像素相关,我的计算机有 12 个内核,因此我应该能够编写并行 for 循环并更快地获得结果。

这是我在寻找编写并行 for 循环的方法后想到的。但是,它比非并行版本慢得多!!

也许有人能告诉我更好的写法? (使用其他库!) 或者有人可以告诉我为什么它变慢了?

这是我想出的代码:

import numpy as np 
from scipy.stats.stats import pearsonr 
from joblib import Parallel, delayed   
import multiprocessing 
 
def corr(pixel, seed_pixel): 
    return pearsonr(pixel, seed_pixel)[0] 
 
def get_correlation_map(seed_x, seed_y, frames): 
    seed_pixel = np.asarray(frames[:, seed_x, seed_y], dtype=np.float32) 
 
    # Reshape into time and space 
    frames = np.reshape(frames, (total_number_of_frames, width*height)) 
    #correlation_map = [] 
    ##################################### 
    print 'Getting correlation...' 
 
    # The parallel version. 
    correlation_map = Parallel(n_jobs=12)(delayed(corr)(pixel, seed_pixel) for pixel in frames.T) 
 
    # Non parallel version 
    #correlation_map = [] 
    #for i in range(frames.shape[-1]): 
        #correlation_map.append(pearsonr(frames[:, i], seed_pixel)[0]) 
    ##################################### 
    correlation_map = np.asarray(correlation_map, dtype=np.float32) 
    correlation_map = np.reshape(correlation_map, (width, height)) 
    print np.shape(correlation_map) 
 
    return correlation_map 

我所需要的只是一种并行化 for 循环的方法,该循环将按迭代顺序将其结果附加到列表中。所以我想同步可能是个问题!

请您参考如下方法:

您可能遇到了问题,因为传递给 Parallel 的参数很大并且都被序列化了。如果(我假设)personr 释放 GIL,您可以使用 backend="threading" 来避免这种情况。否则,您可能需要查看 numpy.memmap 并坚持使用 multiprocessor

correlation_map = Parallel(n_jobs=12, backend="threading")(delayed(corr)(pixel, seed_pixel) for pixel in frames.T)