我在探索Scikit learn中的一些分类模型时注意到，在进行交叉验证时，log loss和ROC AUC的得分始终低于在整个训练集上进行拟合和预测时（为检查过拟合而进行），这对我来说似乎不合理。具体来说，我使用cross_validate设置评分标准为['neg_log_loss', 'roc_auc']，而在训练集上进行手动拟合和预测时，我使用了度量函数log_loss和roc_auc_score。

为了弄清楚发生了什么，我编写了一个代码来手动进行交叉验证，以便能够在各个折叠上手动调用度量函数，并将结果与cross_validate的结果进行比较。如您所见，即使这样，我也得到了不同的结果！

from sklearn.model_selection import StratifiedKFold
kf = KFold(n_splits=3, random_state=42, shuffle=True)
log_reg = LogisticRegression(max_iter=1000)
for train_index, test_index in kf.split(dataset, dataset_labels):
    X_train, X_test = dataset[train_index], dataset[test_index]
    y_train, y_test = dataset_labels_np[train_index], dataset_labels_np[test_index]
    log_reg.fit(X_train, y_train)
    pr = log_reg.predict(X_test)
    ll = log_loss(y_test, pr)
    print(ll)
from sklearn.model_selection import cross_val_score
cv_ll = cross_val_score(log_reg, dataset_prepared_stand, dataset_labels, scoring='neg_log_loss',
                            cv=KFold(n_splits=3, random_state=42, shuffle=True))
print(abs(cv_ll))

输出结果：

4.795481869275026
4.560119170517534
5.589818973403791
[0.409817 0.32309  0.398375]

运行相同代码对ROC AUC的输出结果是：

0.8609669592272686
0.8678563239907938
0.8367147503682851
[0.925635 0.94032  0.910885]

为了确保代码编写正确，我还尝试了使用'accuracy'作为交叉验证的评分标准，并使用accuracy_score作为度量函数，结果是一致的：

0.8611584327086882
0.8679727427597955
0.838160136286201
[0.861158 0.867973 0.83816 ] 

能有人解释一下为什么在log loss和ROC AUC的情况下结果不同吗？谢谢！

回答：

Log-loss和auROC都需要概率预测，而不是硬类别预测。所以将

pr = log_reg.predict(X_test)

更改为

pr = log_reg.predict_proba(X_test)[:, 1]

（下标是为了获取正类的概率，假设您在进行二元分类）。