我刚开始接触神经网络，正在尝试构建一个具有多个隐藏层的最简单的网络。

在神经网络的训练阶段调整权重时，权重调整的程度部分取决于“这个神经元对下一层神经元贡献了多少错误”。因此，我们需要知道下一层的神经元错误。

当只有一个隐藏层时，计算这个错误是非常简单的，因为我们的训练数据已经提供了预期的输出，我们只需使用输出层（简单地说，目标-输出）。然而，当有多个隐藏层时，计算错误变得不那么简单。也就是说，如果我们有10个隐藏层，并且我们处于第5层，我们如何知道第6层的错误是多少？

谢谢

回答：

假设我们的神经网络输出值 和实际的真实值 通过损失函数相关，例如均方误差（回归情况）：

其中：

和 是第 层的权重， 是应用于同一层所有神经元响应的激活函数。

为了从输出层传播模型权重的错误，我们只需在错误损失函数与依赖于模型参数（权重或偏置）的因子之间应用链式法则。例如，让我们找出损失函数与输出层权重之间的错误导数： 如下所示：

如你所推断，我们可以应用同样的程序来计算错误导数，通过网络的每一层激活 直到较低层。例如，让我们将错误反向传播到第 层：

这个过程也可以应用于偏置，直到输入层之前的层 。

我希望这个反向传播的总结能给你一些关于神经网络实际实现的实用见解，在这种情况下，是一个前馈神经网络。如果你想了解更多关于反向传播的详细信息，我邀请你查阅斯坦福大学的UFLDL 教程 关于反向传播：

此外，如果你想了解更多关于卷积神经网络的知识，这些网络更适合计算机视觉应用，我推荐CS231n课程笔记（也有一节关于反向传播的课程），它们可以在 这里 找到。