我在实现K近邻算法时使用的是非常稀疏的数据。我想计算测试实例与训练集中每个样本之间的距离，但对此感到困惑。

因为训练样本中的大多数特征在测试实例中不存在，反之亦然（缺失特征）。

在这种情况下，我该如何计算距离呢？

回答：

为了确保我正确理解了问题：每个样本形成了一个非常稀疏的向量。样本之间的缺失数据不同，因此很难使用欧几里得或其他距离度量来衡量样本的相似性。

如果这是你所面临的情况，我之前在机器学习中见过这个问题——在Netflix奖项竞赛中出现过，但并未具体应用于KNN。那里的情况非常相似：每个用户档案对一些电影有评分，但几乎没有用户看过所有17,000部电影。平均用户档案非常稀疏。

不同的人有不同的解决方法，但我记得他们为缺失值填充了虚拟值，通常是所有具有数据的样本中该值的平均值。然后他们像往常一样使用欧几里得距离等。你可能仍然能在那些论坛上找到关于这个缺失值问题的讨论。这对于那些试图实现奇异值分解的人来说是一个特别常见的问题，奇异值分解变得非常流行，因此如果我记得没错的话，讨论得相当多。

你可以从这里开始：http://www.netflixprize.com//community/viewtopic.php?id=1283

你需要稍微挖掘一下。Simon Funk对这个问题有稍微不同的方法，但它更具体针对SVD。你可以在这里找到：http://www.netflixprize.com//community/viewtopic.php?id=1283如果你想跳到相关部分，他称之为空白空间。

祝你好运！