我在训练一个语言模型，每次训练时都会绘制损失与轮次的图表。我附上了其中的两个样本。

显然，第二个图表显示的性能更好。但是，从这些图表中，我们何时决定停止训练（提前停止）呢？

我们能从这些图表中理解过拟合和欠拟合吗，还是需要绘制额外的学习曲线？

从这些图表中我们还能得出哪些其他的推断？

回答：

第一个结论显然是第一个模型的表现比第二个差，一般来说这是正确的，只要你使用相同的数据进行验证。在使用不同分割数据训练模型的情况下，情况可能并非如此。

此外，关于过拟合/欠拟合的问题：典型的过拟合图表看起来像这样：

所以，在你的情况下，你显然只是达到了收敛，但实际上并没有过拟合！（这是好消息！）另一方面，你可以问自己是否可以取得更好的结果。我假设你正在衰减学习率，这让你在某种程度上达到了一个平台期。如果是这样的话，尝试一开始就减少学习率的衰减，看看是否能进一步降低损失。
此外，如果你仍然看到一个非常长的平台期，你也可以考虑提前停止，因为你实际上不再有任何改进。根据你的框架，有这种实现的方法（例如，Keras有提前停止的回调，通常与验证/测试错误相关）。如果你的验证错误增加，类似于图中所示，你应该考虑使用最低的验证错误作为提前停止的点。我喜欢的一种方法是定期检查点模型，但只有在验证错误有所改善的情况下才这样做。
你还可以推断出一般的学习率：如果学习率过大，你的图表可能会非常“跳跃/锯齿状”，而一个非常低的学习率只会在错误上有一个小的下降，而不是那么多指数衰减的行为。
你可以通过比较两个例子中前几个轮次下降的陡峭程度来看到这种情况的弱形式，其中第一个（学习率较低的）需要更长时间才能收敛。

最后，如果你的训练和测试错误相差很大（如第一个案例），你可能会问自己是否准确地描述或建模了问题；在某些情况下，你可能会意识到你在（数据）分布中可能忽略了一些问题。不过，由于第二个图表表现得好得多，我怀疑这不是你问题中的情况。