我正在尝试修改标准的kNN算法，以便获得属于某个类别的概率，而不是通常的分类结果。我没有找到太多关于概率kNN的信息，但据我所知，它的工作原理与kNN类似，区别在于它计算给定半径内每个类别的样本百分比。
那么，我想知道，朴素贝叶斯和概率kNN之间有什么区别？我只注意到朴素贝叶斯考虑了先验概率，而PkNN则没有。我理解得对吗？
提前感谢！
回答：
坦白说，几乎没有相似之处。
朴素贝叶斯假设每个类别按照一个简单的分布独立分布。对于连续情况 – 它会为你的整个类别（每个类别）拟合一个径向正态分布，然后通过argmax_y N(m_y, Sigma_y)做出决策
另一方面，kNN并不是一个概率模型。你提到的修改只是原始想法的“平滑”版本，你返回最近邻集合中每个类别的比例（这并不是真正的“概率kNN”，它只是常规kNN的粗略概率估计）。这对数据分布没有任何假设（除了局部平滑）。特别是 – 它是一个非参数模型，给定足够的训练样本，它将完美地适应任何数据集。朴素贝叶斯只会完美地适应K个高斯分布（其中K是类别数量）。
