我试图创建一个预定回归器的集合，考虑到这一点，我一直在寻找使用sklearn已有的集合方法，并尝试更改集合的基础估计器。Bagging的文档很清楚，因为它说明你可以通过将你的回归器作为参数传递给”base_estimator”来更改基础估计器，但对于GradientBoosting，你可以在”init”参数中传递一个回归器。

我的问题是：在GradientBoosting的init参数中传递我的回归器，会让它使用我指定的回归器作为基础估计器而不是树吗？文档说init值必须是“用于计算初始预测的估计器对象”，所以我不知道我传递到init中的估计器是否实际上会被用作通过提升方法增强的弱学习器，还是它只会在开始时使用，之后所有的工作都由决策树完成。

回答：

不。

GradientBoostingRegressor只能使用回归树作为基础估计器；根据文档（强调我的）：

在每个阶段都适合一个回归树

正如在相关Github讨论中指出的那样（感谢Ben Reiniger在下面的评论中指出这一点）：

实现完全依赖于基础估计器是树的假设

为了提升任意基础回归器（类似于bagging），你需要AdaBoostRegressor，它同样与bagging一样，也接受一个base_estimator参数。但在这样做之前，你可能想看看我在使用SVM作为基础分类器的AdaBoost执行时间中的回答；引用如下：

AdaBoost（和类似的集合方法）最初是使用决策树作为基础分类器（更具体地说，是决策树桩，即深度仅为1的决策树）构思的；今天，如果你不明确指定base_classifier参数，它会假设值为DecisionTreeClassifier(max_depth=1)，这是有充分理由的。决策树适合这样的集合，因为它们本质上是不稳定的分类器，这与SVM不同，因此后者用作基础分类器时预计不会带来太多好处。