假设我正在构建一个机器学习模型来预测患者是否患有流感。我知道，在总人群中，平均只有2%的患者患有流感。
通常，为了估计模型的准确性，我只需计算模型正确标记的新数据的百分比：
accuracy rate = (correctly identified patients / total number of patients)但在这种情况下，我可以编写一个模型，将所有患者标记为没有流感，它的准确率将达到98%。
所以，估计器可能不应只考虑模型正确标记的患者数量，还应考虑它实际发现的病患数量，比如：
accuracy rate = (correctly identified patients / total number of patients) * (correctly identified patients with flu / total number of patient with flu)但这种估计器没有实际的解释意义。
这种思考方式是否正确？在这种倾斜数据上，您会如何计算模型的准确率？谢谢！
回答：
如果你想要一个平衡的模型，详细的回答是“取决于情况”，短期的回答你可以研究的是所谓的马修斯相关系数（MCC） / Phi值。
正如你所看到的，准确率在面对不平衡数据集时是一个非常糟糕的指标。MCC考虑了类别的大小并对其进行了校正。它在相同的数据集构成下，对于相同的模型性能，提供相同的结果。
- TP = 真阳性数量
- TN = 真阴性数量
- FP = 假阳性数量
- TN = 假阴性数量
MCC = (TP * TN - FP * FN) / sqrt((TP + FP)*(TP + FN)*(TN + FP)*(TN + FN))
- MCC = 1 -> 完美预测
- MCC = 0 -> 无相关性
- MCC = -1 -> 绝对矛盾
仅从经验来看（在我的领域，因此需要大大的保留）：
我合作的公司通常认为合理的模型开始于 MCC >= 0.75
