我知道梯度下降和反向传播算法。我不明白的是：什么时候使用偏差（bias）重要，以及如何使用它？

例如，当映射 AND 函数时，当我使用两个输入和一个输出时，它不会给出正确的权重。但是，当我使用三个输入（其中一个是偏差）时，它会给出正确的权重。

回答：

我认为偏差几乎总是有用的。实际上，偏差值允许您将激活函数向左或向右移动，这对于成功的学习至关重要。

看一个简单的例子可能会有帮助。考虑这个没有偏差的 1 输入、1 输出网络：

网络的输出通过将输入 (x) 乘以权重 (w₀) 并将结果传递给某种激活函数（例如 sigmoid 函数）来计算。

这是该网络针对 w₀ 的各种值计算的函数：

更改权重 w₀ 本质上会更改 sigmoid 的“陡峭度”。这很有用，但是如果您希望网络在 x 为 2 时输出 0 呢？仅仅改变 sigmoid 的陡峭度并不能真正起作用——您希望能够将整个曲线向右移动。

这正是偏差允许您做的事情。如果我们将偏差添加到该网络，如下所示：

…那么网络的输出变为 sig(w₀*x + w₁*1.0)。以下是网络针对 w₁ 的各种值的输出：

对于 w₁，权重为 -5 会将曲线向右移动，这使我们能够拥有一个在 x 为 2 时输出 0 的网络。