我目前正在学习一些机器学习知识,并且知道如何计算不同数据点之间的欧几里得距离;然而,我想知道是否有人了解如何手动计算准确率,以便确定哪个k值是最佳选择?
我知道如何使用基本的Python类来计算准确率,但我也想学习如何手动进行计算。我尝试在谷歌上搜索,但找到的都是Python实现的例子。
例如,假设你只有8个数据点,其中4个是红色,4个是橙色;我选择k = 3,得到2个红色和1个橙色(所以新数据点被分类为红色)。现在我想计算这个K值的准确率?
回答:
准确率的计算公式是:
准确率 = (TP + TN)/(TP + TN + FP + FN)
根据这篇维基百科文章,在二元分类中,你的问题属于这一类。你可以将“红色”定义为正类,或者将“橙色”定义为正类。但这在这里并不重要。假设我们将“红色”定义为正类。
在上述公式的背景下:
- TN:表示真负类(被分类为橙色且确实是橙色的点)
- TP:表示真正类(被分类为红色且确实是红色的点)
- FN:表示假负类(被分类为橙色但实际上是红色的点)
- FP:表示假正类(被分类为红色但实际上是橙色的点)
所以你可以使公式更简单,因为TN+TP+FN+FP
是总数据点的数量,而TP+TN
是正确分类的数据点数量(即KNN正确预测的点)。