我看到很多讨论都在问“对于我的问题X，KNN的最佳选择是什么”，我希望得到一个更通用的答案，以便适用于任何K-NN分类问题。
-
我们应该只关心模型的准确性，因此通过调整数据集来获得最佳答案吗？
-
选择最佳K值时是否存在一般性问题？
-
这种技能是在构建了许多模型后自然习得的吗？人们是否可以本能地选择正确的数值，或者至少能够提出一个合理的测试范围？
回答：
一般来说：
-
K值过小（例如1）对噪声数据敏感，即一个异常值可能会严重影响你的模型
-
K值过大可能导致错误分类，即模型给出不准确的预测
-
计算距离的方式很重要。例如，在稀疏数据集中，余弦距离比欧几里得距离能得到更好的结果。你可以选择正确的K值，但如果你的距离计算不相关，那么模型的性能无论如何都会很差。
-
K等于类别数量是一个非常糟糕的选择，因为最终分类将是随机的。
想象一个二元K-NN分类模型，输出要么是狗要么是猫。现在假设你选择K等于2（或任何其他偶数）。此外，假设一个数据点的位置使得它的K个最近邻居同样属于这两个类别（两个最近邻居分别是狗和猫，或者每个类别有两个或三个等）。那么，如何确定该点属于哪个类别呢？
你无法确定。你需要随机化这个过程，或者选择第一个，这两种方法都会产生同样糟糕的结果。
