是否有好的资源能够清晰地解释人工神经网络中的学习与记忆之间的区别？如果资源中包含数学解释和/或证明就更好了。我在网上和文献中查找过，但大多数只是通过例子来展示，比如对象检测或识别。例如：这个，这个，还有这个……列表很长。我觉得这些还不够。我知道对某些人来说这个问题可能听起来有点模糊，但是，是否存在一个阈值，超过这个阈值系统只是在记忆而不是学习？非常感谢。

回答：

关于证明的来源我不知道，但神经网络天生就是很好的过拟合/过度训练的分类器。如果你使用了一个比你需要的更复杂的网络（当然你通常不知道具体需要什么），你可能会过度训练模型。正则化和dropout被用来防止或至少减少神经网络的过拟合。

当你的模型过拟合时，意味着它只找到了与你训练模型时相似的样本分布的模式，因此失去了对所有未见输入进行泛化的能力。这种行为被称为记忆。记忆也可能发生在你的样本/输入有顺序但你不希望模型学习这种顺序的情况下，而神经网络利用这种顺序来分类样本。（例如，输入按从低到中到高的顺序排列）。打乱数据是解决这个问题的有效方法。

我只知道你可以通过这种方式来判断模型是否记住了训练集：训练准确率非常高，可能是100%，但测试准确率却大大降低，这个大大没有一个固定的阈值，是经验性的，对于一个特定的问题，你可能对75%的准确率感到满意，而对于另一个问题，即使是95%的准确率也可能被认为是低的。