以下是Adaboost算法：

在第3.1部分提到了“在训练数据上使用权重wi”。

我对如何使用权重不太清楚。我应该重新抽样训练数据吗？

回答：

我对如何使用权重不太清楚。我应该重新抽样训练数据吗？

这取决于你使用的是哪种分类器。

如果你的分类器可以考虑实例权重（加权训练样本），那么你不需要重新抽样数据。一个例子是可以累积加权计数的朴素贝叶斯分类器，或者加权的k近邻分类器。

否则，你需要使用实例权重重新抽样数据，即那些权重较大的实例可能会被多次抽样；而那些权重较小的实例甚至可能不会出现在训练数据中。大多数其他分类器都属于这一类别。

实践中

实际上，在实践中，如果你只依赖于一组非常简单的分类器，例如决策树桩、线性判别，提升方法的表现会更好。在这种情况下，你列出的算法有一个易于实现的形式（详细信息请见这里）： 其中alpha的选择方式与你的epsilon定义类似。

一个例子

在平面上定义一个二分类问题（例如，一个圆内的点和一个正方形内的点），并从一组随机生成的线性判别器中构建一个强分类器，类型为sign(ax1 + bx2 + c)。

两个类别标签用红色十字和蓝色点表示。我们在这里使用一组线性判别器（黄色线）来构建一组简单的/弱分类器。我们为图中的每个类别生成1000个数据点（在圆内或不在圆内），并保留20%的数据用于测试。

这是我在测试数据集上得到的分类结果，我使用了50个线性判别器。训练误差为1.45%，测试误差为2.3%