我在构建接收者操作特征（ROC）曲线以使用曲线下面积（AUC）来评估分类器（关于此的更多细节请见文章末尾）。不幸的是，曲线上的点经常会低于对角线。例如，我得到的图表看起来像这样（蓝色为ROC曲线，灰色为对角线）：
第三个点（0.3, 0.2）低于对角线。为了计算AUC，我想修复这些顽固的点。
标准的做法是，对于曲线上的点(fp, tp)，将其替换为点(1-fp, 1-tp)，这相当于交换分类器的预测。例如，在我们的例子中，问题点A（0.3, 0.2）变成了点B（0.7, 0.8），我在上图中用红色标出。
我的参考资料处理这个问题的程度仅限于此。问题是，如果你将新点添加到新的ROC曲线中（并移除坏点），你会得到一个非单调的ROC曲线，如图所示（红色为新的ROC曲线，虚线蓝色为旧曲线）：
我在这里卡住了。我该如何修复这个ROC曲线呢？
我是否需要重新运行我的分类器，并以某种方式转换数据或类别来考虑这种奇怪的行为？我查阅了一篇相关论文，但如果我没记错的话，它似乎在解决一个略有不同的问题。
关于一些细节：我仍然拥有所有原始的阈值、fp值和tp值（以及每个数据点的原始分类器输出，一个从0到1的标量，是类成员资格的概率估计）。我在Matlab中使用perfcurve函数开始做这个工作。
回答：
根据上面引用的文章作者和讨论中一些非常有帮助的电子邮件的说明，正确的答案似乎是：除非你构建一个全新的分类器，否则不要试图“修复”ROC曲线中的个别点，然后确保留下一些测试数据来验证这样做是否合理。
点低于对角线的情况是自然发生的。这就像得到一个个别分类器的正确率为45%，尽管理论上的最低值是50%。这是使用真实数据集时的变异性的一部分，除非它显著低于基于机会的预期，否则你不应该过多担心。例如，如果你的分类器的正确率为20%，那么显然有什么问题，你可能需要调查具体原因并修复你的分类器。
