我正在研究多层感知器，一种神经网络。当我阅读关于反向传播算法的内容时，我发现一些作者建议在计算完特定层的全部误差后立即更新权重，但另一些作者则解释说需要在获取所有层的全部误差后再更新权重。正确的做法是什么？

第一种方法：

function void BackPropagate(){    ComputeErrorsForOutputLayer();    UpdateWeightsOutputLayer();    ComputeErrorsForHiddenLayer();    UpdateWeightsHiddenLayer();}

第二种方法：

function void BackPropagate(){    ComputeErrorsForOutputLayer();    ComputeErrorsForHiddenLayer();    UpdateWeightsOutputLayer();    UpdateWeightsHiddenLayer();}

感谢你们的帮助。

回答：

我非常确定你在这里误解了这个概念。有两种可能的策略：

• 在计算完一个输入向量的所有误差后更新权重
• 在计算完所有输入向量的所有误差后更新权重

这与你所写的完全不同。这两种方法是样本/批处理策略，各有优缺点，由于简单性，第一种方法在实现中更为常见。

关于你的“方法”，第二种方法是唯一正确的，“传播”误差的过程只是计算误差函数导数的计算简化，而（基本的）学习过程是一种最陡下降法。如果你只为部分维度（输出层）计算导数，执行一个方向上的步骤，然后根据新值重新计算误差导数，你并不是在执行梯度下降。唯一可以接受第一种方法的场景是当你的权重更新不干扰你的误差计算时，那么使用什么顺序并不重要，因为它们是独立的。