我在神经网络领域迈出了第一步，为此我正在实验一个非常简单的单层、单输出感知器，它使用了S形激活函数。我每次展示训练样本时都在线更新我的权重，使用以下公式：

weights += learningRate * (correct - result) * {input,1}

这里weights是一个包含n个元素的向量，其中也包含来自偏置神经元的权重（-阈值），result是感知器在给定input时计算出的结果（并通过S形函数处理），correct是正确的结果，{input,1}是附加了1的输入（来自偏置神经元的固定输入）。现在，当我尝试训练感知器执行逻辑与操作时，权重长时间无法收敛，反而持续增长，并且与阈值保持大约-1.5的比例，例如三个权重依次为：

5.067160008240718   5.105631826680446   -7.945513136885797...8.40390853077094    8.43890306970281    -12.889540730182592

我期望感知器在1, 1, -1.5处停止。

除了这个问题，看起来与学习中缺少停止条件有关，如果我尝试使用恒等函数作为激活函数，我得到的权重值会在以下范围内波动：

0.43601272528257057 0.49092558197172703 -0.23106430854347537

使用tanh时我得到了类似的结果。我无法解释这一点。

谢谢
@隐藏人名

回答：

这是因为S形激活函数即使在非常高的正（或负）输入下也无法达到1（或0）。因此(correct - result)总是非零的，你的权重总是会被更新。尝试使用阶跃函数作为激活函数（即f(x) = 1 for x > 0, f(x) = 0 otherwise）。

对于恒等激活函数，你的平均权重值看起来不对。可能是你的学习率有点高——尝试降低它，看看是否能减少波动幅度。

此外，在进行在线学习（也称为随机梯度下降）时，通常的做法是随着时间的推移降低学习率，以便收敛到一个解。否则你的权重将继续波动。

在尝试分析感知器的行为时，同时查看correct和result会有所帮助。