我目前正在参加几个机器学习竞赛，因为我想学习这个领域。
对于一个回归问题，我使用了xgboost。这是我使用的程序：
在特征工程之后，我将数据分为两组，一组是训练集，另一组是测试集，像往常一样。然后我在训练集上拟合我的xgboost，并在测试集上进行验证。以下是我得到的结果：（我还展示了当我使用训练好的算法预测提交目标时的公共集结果，度量标准是mae）。
迭代次数 训练分数 测试分数 公共分数 100 8.05 12.14 17.50150 7.10 11.96 17.30备注：
-
所有数据集（训练集/测试集/公共集）的大小大致相同，约200,000个样本。
-
这是一个时间序列，所以我在分割数据时没有打乱顺序，尽管打乱顺序不会改变结果。
-
我还尝试在与公共数据集时间上接近的样本上训练我的xgboost，但结果没有改善。
-
当我在提交前在所有数据（训练集+测试集）上训练时，公共分数提高了0.35。
我的问题如下：
-
我们真的可以通过查看训练分数和测试分数之间的差异来估计过拟合吗？还是这只是过拟合的一个指标？
-
为什么我的提交分数通过增加迭代次数而提高，即使它显示我越来越过拟合？
-
为什么提交分数的提高甚至比测试分数的提高还要好？
-
为什么测试分数和提交分数不是更接近？为什么无论超参数或“过拟合率”如何，我的测试分数和提交分数之间总是有很大的差异？
这个说法是否正确：如果有用信息与无用信息（训练集特定信息）的学习比率大于1，那么你可以继续过拟合并仍然改进模型？
希望这不会太 confusing，我很抱歉我可能没有使用正确的词汇。我必须提到，即使有过拟合和测试与公共分数之间的巨大差异，我目前在有50人参与的排行榜上排名第二。
回答：
首先要理解什么是过拟合。
当训练分数增加（或错误减少）而测试集分数减少（或错误增加）时，你可以看到过拟合。
过拟合是指你的训练模型过于精确，无法在你试图解决的问题上进行泛化。换句话说，它对训练数据过于“拟合”，仅对训练数据有效，因此无法解决/预测不同的数据集。
在你的例子中，似乎训练和测试的错误都在减少，这意味着你没有过拟合。
过拟合总是坏事。
至于你当前的问题。如果你想运行多个交叉验证，或者手动将数据分割为多个训练和测试集，你可以这样做：
- 将数据分割为训练和测试（50%，50%）或（70%，30%），你认为适合你的比例即可
- 然后，随机抽样X%的训练数据，它将成为训练集。
- 随机抽样Y%的测试数据，它将成为你的测试集
- 我建议X = Y = 75%。并且上述分割为70%训练和30%测试。
至于你的问题：
- 这只是过拟合的一个指标。
- 根据你的例子，你没有过拟合
- 分数会在不同的数据集上有所不同
- 与3的答案相同
添加一张图片来描述过拟合：
在复杂度的一个点（10）上，继续训练会减少训练错误，但会增加测试错误。
