Skip to main content
 首页 » 编程设计

具有缺失值的Python层次聚类

2025年05月04日15Free-Thinker

我是 Python 新手。我想通过包含一些缺失值的 P 数据集对 N 执行层次聚类。我打算使用 scipy.cluster.hierarchy.linkage 函数,它采用压缩形式的距离矩阵。 Python 是否有计算缺失值包含数据的距离矩阵的方法? (在 R dist 函数中自动处理缺失值......但 scipy.spatial.distance.pdist 似乎不处理缺失值!)

请您参考如下方法:

我找不到计算缺失值数据距离矩阵的方法。所以这是我使用欧几里德距离的天真解决方案。

import numpy as np 
def getMissDist(x,y): 
    return np.nanmean( (x - y)**2 ) 
 
def getMissDistMat(dat): 
    Npat = dat.shape[0] 
    dist = np.ndarray(shape=(Npat,Npat)) 
    dist.fill(0) 
    for ix in range(0,Npat): 
        x = dat[ix,] 
        if ix >0: 
            for iy in range(0,ix): 
                y = dat[iy,] 
                dist[ix,iy] = getMissDist(x,y) 
                dist[iy,ix] = dist[ix,iy] 
    return dist 

然后假设 dat 是 N(= 案例数)乘以 P(=特征数)数据矩阵,缺失值然后可以对此 dat 执行层次聚类> 作为:

distMat = getMissDistMat(dat) 
condensDist = dist.squareform(distMat) 
link = hier.linkage(condensDist, method='average')