我正在使用反向传播技术创建一个神经网络进行学习。

我明白我们需要找到所使用的激活函数的导数。我使用的是标准的sigmoid函数

f(x) = 1 / (1 + e^(-x))

我看到它的导数是

dy/dx = f(x)' = f(x) * (1 - f(x))

这可能是一个愚蠢的问题，但这是否意味着在计算过程中我们需要将x通过sigmoid函数两次，所以它会扩展为

dy/dx = f(x)' = 1 / (1 + e^(-x)) * (1 - (1 / (1 + e^(-x))))

还是简单地使用已经计算出的f(x)的输出，也就是神经元的输出，并用那个值替换f(x)？

回答：

这两种方法是等价的（因为数学函数没有副作用，并且对于给定的输出总是返回相同的输入），所以你不妨使用（更快的）第二种方法。