是否有办法在Vowpal Wabbit上使用梯度提升进行回归？我使用了Vowpal Wabbit提供的各种有用的技术。我想尝试结合使用梯度提升，但我在VW上找不到实现梯度提升的方法。

回答：

梯度提升的理念是构建一个由黑盒弱模型组成的集成模型。你当然可以使用VW作为黑盒，但请注意VW不提供决策树，这是提升中最常用的黑盒弱模型。提升通常会降低偏差（并增加方差），所以你应该确保VW模型的方差低（没有过拟合）。参见偏差-方差权衡。

VW中有一些与提升和装袋相关的简化方法：

• --autolink N 添加一个多项式N的链接函数，可以被视为一种简单的提升方式。
• --log_multi K 是用于K类分类的在线提升算法。参见论文。即使是二元分类（K=2）也可以使用，但不适用于回归。
• --bootstrap M 通过在线重要性重采样进行M方式的自助法。使用--bs_type=vote进行分类，使用--bs_type=mean进行回归。请注意，这是装袋，而不是提升。
• --boosting N （2015-06-17添加）使用N个弱学习器进行在线提升，参见理论论文