我正在尝试从 numpy ndarray 中为我的协作过滤项目选择一个子集。
我的数组有这个形状:
ratings = np.array(
[
(1, 2, 3.0),
(2, 2, 3.0),
(4, 1, 2.0),
(1, 2, 1.0),
],
dtype=[
('user_id', np.uint32),
('item_id', np.uint32),
('score', np.float32)
]
)
现在,我想选择一个评级子集,其中 user_id 属于一个数组。类似于 SQL 的“WHERE IN”功能。
我能够使用 np.in1d 实现这一点:
subset_of_users = [1, 2]
ratings[np.in1d(ratings['user_id'], subset_of_users)]
我的分析总是显示使用 in1d 的 block 是最慢的,这让我想到也许有更快的替代方法。
非常感谢您的宝贵时间。
请您参考如下方法:
您可以尝试使用 numpy_indexed包(免责声明:我是它的作者)。
受您问题的启发,我对 API 进行了一些更改,以便我们可以从重复查询中受益:
import numpy_indexed as npi
npi.contains(subset_of_users, ratings['user_id'])
应该从左到右阅读; 'subset contains elements of user_id',返回子集中存在的'user_id'的索引。
但是,计算中最昂贵的部分是为用户 ID 集构建“索引”,这可以预先计算:
index = npi.as_index(ratings['user_id'])
npi.contains(subset_of_users, index)
npi.contains(some_other_subset_of_users, index)
我希望在每次查询的基础上更快一些。
我还集成了一个 npi.in_ 函数,灵感来自 Divakar 的答案,它允许您编写 npi.in_(ratings['user_id'], subset_of_users),它再次从左到右读取;存在于子集中的 user_id 元素。但我预计它会比使用 contains 效率低一些。但这全是猜测;很高兴看到一些实际数据的比较!
