为什么在KNN中需要标准化?我知道这个过程会使所有特征对结果的影响标准化,但在标准化之前,某点V的’K’个最近点与标准化之后的’K’个最近点是完全相同的。那么,标准化对欧几里得距离有什么影响呢?毕竟KNN完全依赖于欧几里得距离?提前感谢!
回答:
大多数标准化技术会在不同维度具有不同变异性时改变’K’个最近邻居。
想象一个数据集,A=(-5,0),B=(-5,1),C=(5,1)。现在考虑一个感兴趣点(4.5, 0)。显然,C是最接近的邻居。
在两个维度上进行到(-1,1)的min-max标准化后,你的数据集变为A=(-1, -1),B=(-1,1),C=(1,1)。你的感兴趣点在这个新空间中对应于(0.9, -1)。因此,现在A是最接近的邻居。