Skip to main content
 首页 » 编程设计

python之Numpy WHERE IN 等效

2025年04月02日17开发

我正在尝试从 numpy ndarray 中为我的协作过滤项目选择一个子集。

我的数组有这个形状:

ratings = np.array( 
    [ 
        (1, 2, 3.0), 
        (2, 2, 3.0), 
        (4, 1, 2.0), 
        (1, 2, 1.0), 
    ], 
    dtype=[ 
        ('user_id', np.uint32), 
        ('item_id', np.uint32), 
        ('score', np.float32) 
    ] 
) 

现在,我想选择一个评级子集,其中 user_id 属于一个数组。类似于 SQL 的“WHERE IN”功能。

我能够使用 np.in1d 实现这一点:

subset_of_users = [1, 2] 
ratings[np.in1d(ratings['user_id'], subset_of_users)] 

我的分析总是显示使用 in1d 的 block 是最慢的,这让我想到也许有更快的替代方法。

非常感谢您的宝贵时间。

请您参考如下方法:

您可以尝试使用 numpy_indexed包(免责声明:我是它的作者)。

受您问题的启发,我对 API 进行了一些更改,以便我们可以从重复查询中受益:

import numpy_indexed as npi 
npi.contains(subset_of_users, ratings['user_id']) 

应该从左到右阅读; 'subset contains elements of user_id',返回子集中存在的'user_id'的索引。

但是,计算中最昂贵的部分是为用户 ID 集构建“索引”,这可以预先计算:

index = npi.as_index(ratings['user_id']) 
npi.contains(subset_of_users, index) 
npi.contains(some_other_subset_of_users, index) 

我希望在每次查询的基础上更快一些。

我还集成了一个 npi.in_ 函数,灵感来自 Divakar 的答案,它允许您编写 npi.in_(ratings['user_id'], subset_of_users),它再次从左到右读取;存在于子集中的 user_id 元素。但我预计它会比使用 contains 效率低一些。但这全是猜测;很高兴看到一些实际数据的比较!