Skip to main content
 首页 » 编程设计

python之scikit-learn 中带有 LeaveOneOut 的 roc_auc 评分方法

2025年05月04日17虾米哥

在 scikit-learn 中,GridSearchCV() 支持将“roc_auc”作为评分函数。 它适用于 n 折交叉验证,但如果我使用 LeaveOneOut,它不起作用并生成错误消息。

ValueError: Only one class present in Y. ROC AUC score is not defined in that case. 

虽然只有一个样本的 AUC 绘图似乎是不可能的,但其他语言(例如 R)支持 roc_auc for LeaveOneOut。

如何使用 python 和 scikit-learn 进行计算?如果不可能,使用大倍交叉验证结果会像这样吗?

请您参考如下方法:

正如 David Maust 指出的那样,留一法交叉验证的问题是 GridSearchCV 计算每个折叠的分数,然后报告平均值。

为了使用 LeaveOneOut 获得有意义的 ROC AUC,您需要计算每个折叠的概率估计值(每个折叠只包含一个观察值),然后计算所有这些概率估计集的 ROC AUC。

这可以按如下方式完成:

def LeaveOneOut_predict_proba(clf, X, y, i): 
    clf.fit(X.drop(i), y.drop(i)) 
    return clf.predict_proba(X.loc[[i]])[0, 1] 
 
# set clf, param_grid, X, y 
 
for params in ParameterGrid(param_grid): 
    print(params) 
    clf.set_params(**params) 
    y_proba = [LeaveOneOut_predict_proba(clf, X, y, i) for i in X.index] 
    print(roc_auc_score(y, y_proba)) 
 

示例输出:

{'n_neighbors': 5, 'p': 1, 'weights': 'uniform'} 
0.6057986111111112 
{'n_neighbors': 5, 'p': 1, 'weights': 'distance'} 
0.620625 
{'n_neighbors': 5, 'p': 2, 'weights': 'uniform'} 
0.5862499999999999 

由于这不使用 GridSearchCV 的基础设施,您将需要自己实现选择最大分数和并行化(如果需要)。