据我所知，经典的KNN算法的工作方式如下（适用于离散数据）：

• 设x为你想要分类的点
• 设dist(a,b)为点a和b之间的欧几里得距离
• 遍历训练集中的点pᵢ，计算这些点与x的距离dist(pᵢ,x)
• 将x分类为与x最接近的K个点中最频繁出现的类别（根据dist计算）。

如何在这个经典的KNN算法中引入权重？我读到应该给更近的点赋予更高的重要性，并且我阅读了这个，但我不明白这如何应用于离散数据。

对我来说，首先，使用argmax没有任何意义，如果权重是增加距离的，那么这会使距离变得更糟。对不起，如果我在说废话的话。

回答：

考虑一个简单的例子，有三种分类（红色、绿色、蓝色）和六个最近的邻居用R、G、B表示。为了简化可视化和计算，我将这个例子设为线性的

R B G x G R R

列出带有距离的点如下

class dist  R     3  B     2  G     1  G     1  R     2  R     3

因此，如果我们使用无权重的最近邻居，简单的“投票”算法是3-2-1，支持红色。然而，使用加权影响，我们得到…

red_total   = 1/3^2 + 1/2^2 + 1/3^2  = 1/4 + 2/9 ~=  .47blue_total  = 1/2^2 ..............................=  .25green_total = 1/1^2 + 1/1^2 ......................= 2.00

… 由于接近性，x最终被分类为绿色。

这个低delta函数仅仅是分类函数；在这个简单的例子中，它返回红色 | 绿色 | 蓝色。在更复杂的例子中，… 好吧，我留到后面的教程中再讲。