使用反向传播中的Sigmoid函数计算误差

我有一个关于反向传播的快速问题。我正在查看以下内容：

在这篇论文中，它提到计算神经元的误差为

误差 = 输出(i) * (1 – 输出(i)) * (目标(i) – 输出(i))

我已经将我无法理解的方程部分加粗。在论文中，它说输出(i) * (1 – 输出(i))这一项是因为Sigmoid函数所需的 – 但我仍然不明白为什么这是必要的。

使用以下方法有什么问题吗？

误差 = abs(输出(i) - 目标(i))

？

误差函数是否与神经元的激活/传输函数无关？

回答：

你需要这样做的原因是，你在计算误差函数相对于神经元输入的导数。

当你通过链式法则求导时，你需要乘以神经元激活函数的导数（恰好是Sigmoid函数）

这里是重要的数学部分。

通过链式法则计算神经元输入上的误差导数：

E = -(目标 - 输出)^2dE/d输入 = dE/d输出 * d输出/d输入

计算d输出/d输入：

输出 = sigmoid (输入)d输出/d输入 = 输出 * (1 - 输出)    (Sigmoid函数的导数)

因此：

dE/d输入 = 2 * (目标 - 输出) * 输出 * (1 - 输出)

学技术