我有一个用于进行反向传播的神经网络。

我一直在使用以下公式更新隐藏层的权重：

Δwji = η × δj × yi

其中 δj 是 φ'(vj) * ej，其中 vj = Σi wjiyi，对于输出层；而对于之前的层，是 φ'(vj) * sum(δk*wkj)

然而，隐藏单元的一个偏置总是趋于无穷大。这是什么意思？

编辑：

趋于无穷大的值原来是来自某些神经元的输入值vj。所以，这意味着我的神经网络只是在强化这样一个事实：某个特定的神经元应该始终激活？

这是否也意味着我在训练时缺乏针对这些特定输入的各种示例？

回答：

经过反复试验，发现问题是隐藏层上的神经元数量不足。在添加等于输入一半数量的神经元后，我开始看到结果。虽然没有关于理想神经元数量的官方公式，但它因每个问题而异。