我正在尝试使用 scikit-learn 提供的谱聚类方法聚合我的数据集的行(只有 16000)。 我的问题出现在我预先计算分配 3 GB 或多或少的亲和矩阵(一个 16000x16000 浮点矩阵)之后(我最多可以达到 8 GB),在该矩阵上调用的方法,使用 argpack 求解器,需要更多内存并且 cpu 浪费了太多时间试图将东西交换进出内存,以至于计算速度减慢到死。 我也尝试在该方法之前调用垃圾收集器但没有成功:
import gc
gc.collect()
我怎样才能得到正在发生的事情的精确方案? 这是一个已知的问题? python 中是否有任何替代方法可以开箱即用地执行谱聚类?
如果需要,我可以发布一个最小的工作示例。
更新 关于 lobpcg 求解器,我错了,起初它似乎使用了我所有的内存,但随后它稳定在 5Gb 左右并且该过程继续,但另一个问题出现了。 似乎计算导致一些数值不准确,最终产生 Nans 或这样的错误(出现的错误随着亲和矩阵的变化而变化,见下文):
File "/usr/local/lib/python3.4/dist-packages/sklearn/cluster/spectral.py", line 255, in spectral_clustering
eigen_tol=eigen_tol, drop_first=False)
File "/usr/local/lib/python3.4/dist-packages/sklearn/manifold/spectral_embedding_.py", line 303, in spectral_embedding
largest=False, maxiter=2000)
File "/usr/local/lib/python3.4/dist-packages/scipy/sparse/linalg/eigen/lobpcg/lobpcg.py", line 449, in lobpcg
assert np.allclose(gramA.T, gramA)
AssertionError
我的亲和度指标是一个高斯核 exp(-((X_1 - x_2)^2/2*sigma^2)),当尝试不同的 sigma 值时,结果差异很大。我可以理解,当某些条目接近于零时,可能会出现一些不准确的情况,但是当我为 sigma (= 5.0) 使用较大的值时,情况并非如此,而是让它们更接近 1.0。
现在我假设我遗漏了一些要点或者我在这个过程中做错了什么,所以我用一个新的目标来更新这个问题。
作为引用,我是这样计算亲和性矩阵的:
pairwise_dists = \
scipy.spatial.distance.squareform(
scipy.spatial.distance.pdist(data_slice,'sqeuclidean'))
similarity_matrix = scipy.exp(-pairwise_dists /(2 * self._sigma ** 2))
其中 data_slice 是一个 numpy 数组,其行是我的实例,self._sigma 存储高斯西格玛参数。
请您参考如下方法:
谱聚类计算差异矩阵的特征向量。
这个矩阵的大小为 O(n^2),因此几乎任何实现都需要 O(n^2) 内存。
16000x16000x4(假设 float 存储,并且没有开销)是大约 1 GB。它可能需要一个工作副本(诸如 scipy.exp 之类的方法可能会生成矩阵的副本;并且可能具有 double )和一些开销,这就是您最终使用 3 GB 的原因...
这个算法只是不适用于大数据,就像任何其他需要 O(n^2) 内存的算法一样。选择不同的算法;也许可以使用索引结构加速。或者减少您的数据集大小,例如通过抽样。
