我是一名机器学习领域的新手，想学习如何使用梯度提升树（GBT）进行多类分类。我读了一些关于GBT的文章，但那些都是关于回归问题的，关于GBT用于多类分类的正确解释我却找不到。我还查看了机器学习库scikit-learn中的GBT实现，即GradientBoostingClassifier，它使用回归树作为多类分类的弱学习器。

GB通过前向逐步的方式构建加法模型；它允许优化任意可微分的损失函数。在每个阶段，n_classes_个回归树会根据二项式或多项式偏差损失函数的负梯度进行拟合。对于二分类，仅诱导单个回归树是一种特殊情况。

来源 : http://scikit-learn.org/stable/modules/generated/sklearn.ensemble.GradientBoostingClassifier.html#sklearn.ensemble.GradientBoostingClassifier

问题是，为什么我们要在GBT中使用回归树作为学习器而不是分类树？如果有人能解释为什么使用回归树而不是分类树，以及回归树是如何进行分类的，那将非常有帮助。谢谢

回答：

你对“回归”这个词的理解过于字面化了（作为数值预测），实际上并非如此；请记住，分类是通过逻辑回归处理的。例如，你所链接的文档页面中的损失函数条目：

loss : {‘deviance’, ‘exponential’}, optional (default=’deviance’)

要优化的损失函数。‘deviance’指的是用于具有概率输出的分类的偏差（=逻辑回归）。对于损失‘exponential’，梯度提升恢复AdaBoost算法。

因此，‘分类树’实际上只是一个loss='deviance'的回归树…