我在尝试理解在使用梯度下降优化的神经网络中使用的“反向传播”。通过阅读文献，似乎它做了几件事。
- 开始时使用随机权重并获取误差值
- 使用这些权重对损失函数进行梯度下降，以获得新的权重。
- 用这些新权重更新权重，直到损失函数最小化。
上述步骤似乎是解决线性模型（例如回归）的确切过程？Andrew Ng 在 Coursera 上关于机器学习的优秀课程正是这样处理线性回归的。
所以，我在试图理解反向传播是否只是对损失函数进行梯度下降的操作…如果不是，为什么它只在神经网络的案例中被提及，而不为广义线性模型（GLM）所用？它们似乎都在做同样的事情——我可能错过了什么吗？
回答：
主要的分歧其实就在眼前：线性。事实上，如果扩展到第一导数的连续性，你将涵盖大部分差异。
首先，请注意神经网络（NN）的一个基本原则：具有线性权重和线性依赖的神经网络就是一个GLM。此外，多个隐藏层等同于单个隐藏层：从输入到输出的仍然是线性组合。
一个“现代”神经网络具有非线性层：ReLU（将负值变为0）、池化（多个值的最大值、最小值或平均值）、丢弃（随机移除一些值）和其他方法破坏了我们对模型平滑应用梯度下降（GD）的能力。相反，我们采取许多原则并向后工作，逐层应用有限的修正，一直到第1层的权重。
反复进行直到收敛。
这是否为你澄清了问题？
你明白了！
典型的ReLU是
f(x) = x if x > 0, 0 otherwise典型的池化层将输入的长度和宽度缩小2倍；在每个2×2的方块中，只通过最大值。丢弃简单地消除随机值，使模型重新从“主要来源”训练这些权重。这些每一个都是GD的难题，所以我们必须逐层进行。
