我有一个二分类问题，需要计算结果的roc_auc。为此，我使用sklearn采用了两种不同的方法。我的代码如下。
代码1：
from sklearn.metrics import make_scorerfrom sklearn.metrics import roc_auc_scoremyscore = make_scorer(roc_auc_score, needs_proba=True)from sklearn.model_selection import cross_validatemy_value = cross_validate(clf, X, y, cv=10, scoring = myscore)print(np.mean(my_value['test_score'].tolist()))我得到的输出是0.60。
代码2：
y_score = cross_val_predict(clf, X, y, cv=k_fold, method="predict_proba")from sklearn.metrics import roc_curve, aucfpr = dict()tpr = dict()roc_auc = dict()for i in range(2): fpr[i], tpr[i], _ = roc_curve(y, y_score[:,i]) roc_auc[i] = auc(fpr[i], tpr[i])print(roc_auc)我得到的输出是{0: 0.41, 1: 0.59}。
我很困惑，因为在这两个代码中我得到了不同的分数。请告诉我为什么会出现这种差异，以及正确的方法是什么。
如果需要，我很乐意提供更多细节。
回答：
看起来你使用了我另一个回答中的部分代码，所以我也来回答这个问题。
对于二分类问题，你有两个类，其中一个是正类。
例如请参见这里。pos_label是正类的标签。当pos_label=None时，如果y_true在{-1, 1}或{0, 1}中，pos_label被设置为1，否则会引发错误。
import matplotlib.pyplot as pltfrom sklearn import svm, datasetsfrom sklearn.metrics import roc_curve, aucfrom sklearn.multiclass import OneVsRestClassifierfrom sklearn.model_selection import cross_val_predictfrom sklearn.linear_model import LogisticRegressionimport numpy as npiris = datasets.load_iris()X = iris.datay = iris.targetmask = (y!=2)y = y[mask]X = X[mask,:]print(y)[0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1]positive_class = 1clf = OneVsRestClassifier(LogisticRegression())y_score = cross_val_predict(clf, X, y, cv=10 , method='predict_proba')fpr = dict()tpr = dict()roc_auc = dict()fpr[positive_class], tpr[positive_class], _ = roc_curve(y, y_score[:, positive_class])roc_auc[positive_class] = auc(fpr[positive_class], tpr[positive_class])print(roc_auc){1: 1.0}和
from sklearn.metrics import make_scorerfrom sklearn.metrics import roc_auc_scorefrom sklearn.model_selection import cross_validatemyscore = make_scorer(roc_auc_score, needs_proba=True)clf = OneVsRestClassifier(LogisticRegression())my_value = cross_validate(clf, X, y, cv=10, scoring = myscore)print(np.mean(my_value['test_score'].tolist()))1.0