我想用Python构建我的第一个神经网络来识别手写数字，但我找不到一个好的、简单的终止规则？

我所说的“终止规则”是指何时停止更新我的权重和偏置，或者如何知道我已经达到了局部最小值。

让我明确一下。我不是在寻找最佳表现、最先进、最复杂的规则。相反，我想要最简单、最容易实现、适合入门的规则，只需合理地完成任务即可。

如果你需要更多信息来回答，请告诉我，我会在这里补充。

回答：

虽然这个问题有些宽泛，但我会尽量为你提供一般性的指导。

神经网络训练是优化高维（几乎总是）非凸损失函数的过程。因此，很少有关于其全局或局部最小值或收敛速度的正式证明。只是有观察表明，例如，所有局部最小值在测试准确度（损失）方面大致相同，这使得学习过程更容易，因为找到全局最小值不再是必须的。

你问的“终止规则”属于同一类别：这是一条在大多数情况下似乎有效的一般规则。当你在进行交叉验证时，当验证准确度（损失）不再提高并趋于平稳或在一段时间内变差时，你应该停止训练。结果模型可以合理地选择为整个训练过程中最好的模型。你还可以应用提前停止（参见这个和这个问题），以节省训练时间并仍然避免过拟合。实际上，研究人员通常让网络训练尽可能长时间，直到时间限制允许，并且只有在准确度（损失）仍然不像是平稳的（这种情况很少见）时，才会增加训练轮次。

例如，在下面的图表中，10个周期停止太早，因为还有很多改进的潜力。15个周期后仍然不清楚。如果时间不够，20个周期后停止是可以的，但我会让它运行到第25个周期以确保准确。到了这个点，训练得分几乎是1.0，验证得分是平稳的，即没有迹象表明它可以进一步改善。