假设我有一个分类任务,我想将文本分类为“垃圾邮件”或“非垃圾邮件”。假定以下混淆矩阵,“精度”分数(计算“TP/(TP + FP)”)将是一个有用的错误度量,用于确定有多少“Ham”邮件被错误地归类为“垃圾邮件”:
据我所知,scikit按照以下方案计算混淆矩阵:
现在,如果我使用标签编码器(请参见下面的代码),它将为“垃圾邮件”提供类标签 1,为“火腿”提供类标签 0,这将反转混淆矩阵(FP 将变为 TN 等)所以精度分数会有不同的含义。所以,我的问题是,是否有一种方法可以告诉标签编码器将哪个标签分配给哪个类? (在这种情况下很简单,我可以通过简单的列表理解来解决问题,但我想知道 scikit 中是否已经有一些东西。)
因此,目标是使用 LabelEncode 为“垃圾邮件”提供类别标签 0,为“垃圾邮件”提供类别标签 1。
from sklearn.preprocessing import LabelEncoder
X = df['text'].values
y = df['class'].values
print('before: %s ...' %y[:5])
le = LabelEncoder()
y = le.fit_transform(y)
print('after: %s ...' %y[:5])
before: ['spam' 'ham' 'ham' 'ham' 'ham'] ...
after: [1 0 0 0 0] ...
请您参考如下方法:
当然,如果您使用 precision_score(... pos_label=1, ...) 您可以手动将正标签分配给类,这对于计算“正确”分数很重要,因为精度方程取决于你的“正”类是什么(Precision = tp/(tp + fp))
但是标签可能导致问题的情况是当我进行交叉验证时,例如,想要计算精度,因为 cross_validation 函数没有用于
“正面标签”
cross_val_score(clf, X_train, y_train, cv=cv, scoring='precision')
但是,正如 GitHub 上所建议的那样,解决方法是创建一个“自定义评分器”,您可以在交叉验证中使用它来解决标签问题:
from functools import partial
from sklearn.metrics import precision_score, make_scorer
custom_scorer = make_scorer(partial(precision_score, pos_label="1"))
