关于如何编写神经网络的反向传播算法，我有几个问题：
我的网络拓扑结构是一个输入层、一个隐藏层和一个输出层。隐藏层和输出层都使用 sigmoid 函数。
- 首先，我应该使用偏置吗？我应该把偏置连接到网络的什么地方？我应该在隐藏层和输出层的每一层都放置一个偏置单元吗？输入层呢？
- 在这个链接中，他们将最后的 delta 定义为输入 – 输出，并且如图所示，他们反向传播这些 delta。他们保存一个表格来存放所有的 delta，然后在以正向传播的方式实际传播误差之前进行操作。这是否偏离了标准的反向传播算法？
- 我应该随着时间的推移而降低学习率吗？
- 如果有人知道，ResilientPropagation 是一种在线学习技术还是批量学习技术？
谢谢
编辑： 还有一件事。在下面的图片中，假设我使用的是 sigmoid 函数，那么 d f1(e) / de 就是 f1(e) * [1- f1(e)]，对吗？
回答：
您的问题需要更详细地说明一下…… 您的需求是什么？泛化还是记忆？您预期的是一个复杂的模式匹配数据集，还是一个连续域的输入-输出关系？以下是我的 0.02 美元的看法：
-
我建议你保留一个偏置神经元，以防你需要它。如果神经网络认为它是不必要的，训练应该会将权重驱动到可以忽略不计的值。它将连接到前面一层中的每个神经元，但不与前一层中的任何神经元连接。
-
就我所知，这个公式看起来像是标准的反向传播。
-
很难概括你的学习率是否需要随着时间的推移而降低。这种行为高度依赖于数据。你的学习率越小，你的训练就会越稳定。然而，它可能会非常慢，特别是如果你像我过去那样用脚本语言运行它。
-
Resilient backprop（或 MATLAB 中的 RProp）应该可以处理在线和批量训练模式。
我想补充一点，如果可能的话，你可能需要考虑替代激活函数。sigmoid 函数并不总是给出最好的结果……
