Skip to main content
 首页 » 编程设计

python之加速 Numpy 数组切片

2025年05月04日11lovecherry

我需要沿两个维度对一个中等大小的 2d Numpy 数组进行切片。例如,

import numpy as np 
X = np.random.normal(loc=0, scale=1, size=(3000, 100)) 

从这个数组中,我需要选择大量的行和相当少的列,例如

row_idx = np.random.random_integers(0, 2999, 2500) 
col_idx = np.random.random_integers(0, 99, 10) 

现在,我通过以下命令执行此操作:

X.take(col_idx, axis=1).take(row_idx, axis=0) 

这在我的电脑上大约需要 115µs。问题是每次运行我需要执行此步骤几百万次。

您认为有机会加快这一步吗?

编辑(附加信息): 我有一个矩阵 X,它是 nxk。 n 行包含 1xk 个向量。 共有三组:事件组 (V)、左组 (L) 和右组 (R)。此外,还有系数 v0 和 v。我需要计算这个数量:http://goo.gl/KNoSl3 (抱歉,我无法发布图片)。问题中的公式选择左(右)集中 X 的所有行和事件集中的所有列。

编辑2

我发现了另一个小改进。

X.take(col_idx, axis=1, mode='clip').take(row_idx, axis=0, mode='clip') 

快一点(在我的机器上大约快 25%)。

请您参考如下方法:

让我们做一些事情,我们制作一个满足我们的 n 维网格条件的一维索引数组。

def make_multi_index(arr, *inds): 
    tmp = np.meshgrid(*inds, indexing='ij') 
    idx = np.vstack([x.ravel() for x in tmp]) 
    return np.ravel_multi_index(idx, X.shape) 

使用您的测试阵列和原始案例作为引用:

%timeit X.take(col_idx, axis=1).take(row_idx, axis=0) 
10000 loops, best of 3: 95.4 µs per loop 

让我们使用这个函数来构建索引、保存它们,然后使用 take 返回您想要的输出:

inds = make_multi_index(X, row_idx, col_idx) 
tmp = np.take(X,inds).reshape(row_idx.shape[0], col_idx.shape[0]) 
 
np.allclose(tmp, X.take(col_idx, axis=1).take(row_idx, axis=0)) 
Out[128]: True 

因此,构建我们的索引并保留它们似乎是可行的,现在是时候了:

%timeit make_multi_index(X, row_idx, col_idx) 
1000 loops, best of 3: 356 µs per loop 
 
%timeit np.take(X,inds).reshape(row_idx.shape[0], col_idx.shape[0]) 
10000 loops, best of 3: 59.9 µs per loop 

所以它碰巧不是很好 - 如果您想从中获取更多维度,这可能会变得更好。无论如何,如果您将这些索引保留超过 10-15 次迭代,它可能会有所帮助,或者如果您添加一个额外的维度并同时获取所有非事件数据集。