我想使用交叉验证来评估使用scikit-learn构建的回归模型，但我对使用cross_val_score和cross_val_predict这两个函数感到困惑。一个选项是：
cvs = DecisionTreeRegressor(max_depth = depth)
scores = cross_val_score(cvs, predictors, target, cv=cvfolds, scoring='r2')
print("R2-Score: %0.2f (+/- %0.2f)" % (scores.mean(), scores.std() * 2))另一个选项是使用标准的r2_score来处理交叉验证的预测结果：
cvp = DecisionTreeRegressor(max_depth = depth)
predictions = cross_val_predict(cvp, predictors, target, cv=cvfolds)
print ("CV R^2-Score: {}".format(r2_score(df[target], predictions_cv)))我认为这两种方法都是有效的，并且会得到相似的结果。但这只是在小k折的情况下成立。对于10折交叉验证，r^2值大致相同，但在使用“cross_val_score”的第一种版本中，随着k值的增加，r^2值会越来越低。第二种版本在改变折数时基本不受影响。
这种行为是否在预期之中？我是否对SKLearn中的交叉验证缺乏一些理解？
回答：
cross_val_score返回测试折的评分，而cross_val_predict返回测试折的预测y值。
对于cross_val_score()，你使用的是输出的平均值，这会受到折数的影响，因为有些折可能有较高的误差（未正确拟合）。
而cross_val_predict()返回的则是输入中每个元素在作为测试集时的预测值。[请注意，只能使用将所有元素分配到测试集恰好一次的交叉验证策略]。因此，增加折数只会增加测试元素的训练数据，因此其结果可能不会受到太大影响。
编辑（评论后）
请查看以下关于cross_val_predict如何工作的回答：
如何计算scikit-learn的cross_val_predict准确性评分？
我认为cross_val_predict可能会过拟合，因为随着折数的增加，用于训练的数据会更多，而用于测试的数据会更少。因此，结果标签更多地依赖于训练数据。而且如上所述，一个样本的预测只进行一次，因此它可能更容易受到数据分割的影响。这就是为什么大多数地方或教程推荐使用cross_val_score进行分析的原因。
