我正在使用Python的scikit-learn训练机器学习逻辑分类器来对两个类别进行分类。数据极度不平衡（约14300:1）。我得到的准确率和ROC-AUC几乎是100%，但精确度、召回率和F1分数均为0%。我知道在极度不平衡的数据中，准确率通常没有用，但为什么ROC-AUC指标也接近完美呢？

from sklearn.metrics import roc_curve, auc# Get ROC y_score = classifierUsed2.decision_function(X_test)false_positive_rate, true_positive_rate, thresholds = roc_curve(y_test, y_score)roc_auc = auc(false_positive_rate, true_positive_rate)print 'AUC-'+'=',roc_auc1= class10= class2Class count:0    1999791        21Accuracy: 0.99992Classification report:             precision    recall  f1-score   support          0       1.00      1.00      1.00     99993          1       0.00      0.00      0.00         7avg / total       1.00      1.00      1.00    100000Confusion matrix:[[99992     1] [    7     0]]AUC= 0.977116255281

上面的结果使用的是逻辑回归，下面使用的是决策树，决策矩阵看起来几乎相同，但AUC值却大不相同。

1= class10= class2Class count:0    1999791        21Accuracy: 0.99987Classification report:             precision    recall  f1-score   support          0       1.00      1.00      1.00     99989          1       0.00      0.00      0.00        11avg / total       1.00      1.00      1.00    100000Confusion matrix:[[99987     2] [   11     0]]AUC= 0.4999899989

回答：

必须理解AUC ROC与准确率/精确度等“点状”指标之间的关键区别。ROC是一个关于阈值的函数。对于一个输出每个类别所属概率的模型（分类器），我们会预测概率最高的那个类别（支持）。然而，有时通过改变这个规则，要求一个支持是另一个的两倍才实际分类为特定类别，可以得到更好的分数。这在不平衡数据集中通常是正确的。这样，你实际上是在修改学习到的类别先验概率以更好地适应你的数据。ROC考虑的是“如果我将这个阈值改为所有可能的值会发生什么”，然后AUC ROC计算这样的曲线的积分。

因此：

• 高AUC ROC与低F1或其他“点状”指标相比，意味着你的分类器当前表现不佳，但是你可以找到一个阈值，使其分数实际上相当不错
• 低AUC ROC和低F1或其他“点状”指标，意味着你的分类器当前表现不佳，即使调整阈值也无法改变
• 高AUC ROC和高F1或其他“点状”指标，意味着你的分类器当前表现不错，并且在许多其他阈值下也会表现相同
• 低AUC ROC与高F1或其他“点状”指标相比，意味着你的分类器当前表现不错，但在许多其他阈值下表现却很差