如果我们不设定任何限制，例如max_depth、节点的最小样本数，决策树是否总是能达到0训练误差？还是这取决于数据集？对于展示的数据集情况如何？

编辑 – 分割可能会导致比父节点更低的准确率，对吗？根据决策树理论，即使后续几次分割后的最终结果可能很好，它也应该停止分割！我说的对吗？

回答：

决策树总是会找到一个能够提高准确率/得分的分割点

例如，我已经在与你类似数据上构建了一个决策树：

决策树可以在任何没有两个样本具有相同特征值但不同标签的数据集上达到100%的准确率。

这也是决策树容易过拟合的原因之一，尤其是在特征较多或类别数据选项较多的情况下。

确实，有时如果分割带来的改进不够高，我们会阻止节点的分割。这在某些关系上是有问题的，例如y=x_1 xor x_2，这种关系无法用有此限制的树来表达。

因此，通常情况下，树不会因为无法在训练数据上改进模型而停止。你没有看到100%准确率的树的原因是因为我们使用了减少过拟合的技术，例如：

1. 树剪枝，如这种相对较新的例子。这基本上意味着你构建了整个树，但随后你会回顾并剪掉对模型性能贡献不够的节点。
2. 使用比率而不是增益来进行分割。基本上，这是表达我们期望从50%-50%的分割中获得的改进比10%-90%的分割少的一种方式。
3. 设置超参数，如max_depth和min_samples_leaf，以防止树过度分割。