我正在运行以下代码:
from sklearn import neighborsimport numpy as npimport pandas as pdX = pd.DataFrame(np.random.randn(50, 4), columns=list('ABCD'))y = pd.DataFrame(np.random.randn(50, 1), columns=list('T'))KNN_ = neighbors.KNeighborsRegressor(n_neighbors=20, weights='distance').fit(X, y)yhat = KNN_.predict(X)error = yhat-yprint(error)为什么所有错误都是零？据我所知，错误应该捕捉到拟合/预测值与我的数据点之间的差异，对吗？
我对其他估计器（如随机森林回归器）应用了基本相同的方法，错误如预期的那样不为零，所以我担心在这段代码中我错过了一些细微之处？
回答：
这是因为你在同一个数据集上进行训练和测试。你在以下行中使用X进行训练
KNN_ = neighbors.KNeighborsRegressor(n_neighbors=20, weights='distance').fit(X, y)然后在相同的值上进行预测
yhat = KNN_.predict(X)你需要将数据集分成训练集和测试集，比如tran_X和test_X。然后在tran_X上训练，并使用test_X进行预测。
更新 如果你阅读了KNN的文档，它提到
目标是通过训练集中最近邻居的目标的局部插值来预测的。
所以基本上，当你提供新的目标进行预测时，它会在训练集中进行局部插值。由于值完全相同，它会返回完全相同的数据行和标签。我的观点是，错误的差异与KNN的内部工作方式有关。我猜测，由于随机森林是一种防止过拟合的决策树集合，因此有非零错误的可能性（防止过拟合的整个意义就在于此）。你需要了解这些算法的内部工作原理来理解这一点。你可以查看这里和这里来了解为什么预测结果完全相同。
