我一直在使用xgboost的早期停止功能来处理各种问题陈述，主要是分类问题。但我在处理不同领域的几个数据集时有以下观察
-
在评估误差最小点，但训练和测试（用于评估以停止训练轮次）的误差差异相对较高时，模型似乎表现得像是已经过拟合了。
-
在这种情况下，当我考虑在训练和测试（训练期间的评估数据）误差都相当接近的点停止训练轮次时（尽管评估误差不是最低），模型的表现更好，并且符合误差项估计。
因此问题是：训练轮次的数量是否应该在最佳点之前就停止（在训练和测试（评估）之间存在非常高的差异误差，尽管验证误差较低）？
请假设已经采取了所有措施来正确分割用于训练、测试、验证等的数据集。
谢谢。
回答：
xgboost中的早期停止工作原理如下：
- 它会查看你的“观察列表”中的最后一个元组（通常你会在这里放入验证/测试集）
- 它会根据你的评估指标来评估这个集合
- 如果这个评估在
x次内没有变化（其中x = early_stopping_rounds） - 模型将停止训练，并知道最佳迭代在哪里（具有最佳的测试/验证集评估）
是的，你的模型将包含x个不必要的迭代（增强器）。但假设你有一个训练好的xgboost.Booster在clf中
# 会给你最佳迭代best_iteration = clf.best_ntree_limit# 只使用到最佳迭代的增强器进行预测y_pred = clf.predict(dtest, ntree_limit=best_iteration)这得出了一个否，对你的问题的回答。
