我在建模一个有两种结果的事件，0（拒绝）和1（接受）。我已经创建了一个模型来估计1（接受）发生的概率（即，模型会计算出’1’发生的概率为80%，换句话说，接受的概率为0.8）。

现在，我有一大批试验结果的记录，其中包含模型的估计（例如：接受的概率=0.8，实际类别（接受=1））。我想量化或验证模型的准确性。这是否可能，如果可能，如何实现？

注意：我只是在预测类别1的概率。假设对类别1的预测是0.8，而实际的类别值是1。现在我想评估我的模型的表现。

回答：

你只需将概率转换为两个离散类别，采用阈值舍入法，即如果p(y=1|x)>0.5，则预测为1，否则预测为0。然后所有指标都适用。阈值可以通过检查ROC曲线和/或查准率-查全率变化来选择，或者简单地设为0.5。