我正在尝试使用特定的分类器解决二元分类问题。该分类器可以返回未分类的对象。在这种情况下，最佳的度量标准是什么？例如，我可以使用F1分数，但它无法考虑未分类对象的数量。也许这个问题已经有了传统的方法。
回答：
我猜你是指弃权分类器。
“在机器学习的许多应用领域中，对于每一个实例进行类别预测并不总是合理的，无论预测的不确定性有多大。相反，分类器应该有机会在某些条件下避免进行风险较高的预测。”http://users.dsic.upv.es/~flip/ROCML2006/Papers/friedelROCML06.pdf
这篇论文还提供了一种非常详细的可视化技术。一般来说，搜索“评估+弃权+分类器”会为你提供相当多的度量标准。
如果你想要更简单的方法，你可以从头开始开发一些东西，只要你能定义一个成本函数即可。成本函数为TP FP等赋值。基于此，你可以通过计算混淆矩阵的加权和来计算分类器的价值。
