在反向传播人工神经网络的在线实现中，如何确定停止标准？

我一直采用的方法（我确定这是错误的）是计算每个输出节点的误差平均值，然后再计算这些误差在每个周期的平均值。

这种方法是否错误？在线实现的标准停止方法是什么？

回答：

你应该始终考虑验证集上的误差（例如均方根误差），这个验证集与你的训练集是分开的。如果训练时间过长，你的神经网络将开始过拟合。这意味着，训练集上的误差将变得最小甚至为0，但一般数据上的误差会变得更糟。

为了得到具有最佳泛化性能的模型参数，你应该在验证集上的误差达到新的最小值时，复制并保存你的模型参数。如果性能是一个问题，你可以每N步进行一次这样的检查。

在在线学习设置中，你将使用单个训练样本或少量训练样本的小批次进行训练。你可以将覆盖你全部数据的所有样本/小批次的连续训练视为一个训练周期。

定义所谓的早期停止标准有多种可能性。例如，你可以在每个完整周期后考虑验证集上迄今为止的最佳均方根误差。一旦在M个周期内没有新的最优值出现，你就会停止。根据问题的复杂性，你必须选择足够高的M。你也可以从一个较小的M开始，每当你得到一个新的最优值时，将M设置为达到该最优值所需的周期数。这取决于快速收敛还是尽可能彻底更重要。

你总会遇到验证和/或训练误差暂时变大的情况，因为学习算法在进行爬山。这意味着它会穿过错误表面的区域，这些区域表现不佳，但必须通过才能达到新的、更好的最优值。如果你简单地在验证或训练误差在两个连续步骤之间变差时就停止，你将过早地得到次优解。