我想构建一个模型来预测输入信号的未来响应，我的网络架构是[3, 5, 1]：
- 3个输入，
- 隐藏层有5个神经元，
- 输出层有1个神经元。
我的问题是：
- 我们应该为每个隐藏层和输出层设置单独的BIAS吗？
- 我们应该为每一层的BIAS分配权重吗（因为BIAS作为网络的额外值，会增加网络的负担）？
- 为什么BIAS总是设置为1？如果eta有不同的值，为什么我们不设置不同的BIAS值？
- 为什么我们总是使用对数S形函数作为非线性函数，我们可以使用tanh吗？
回答：
因此，如果我们退一步来讨论偏置单元在神经网络中的作用，我想这将能澄清大部分问题。
偏置单元的目的是让网络中的单元能够学习到适当的阈值（即在达到一定的总输入后，开始发送正激活），因为通常正的总输入意味着正的激活。
例如，如果你的偏置单元与某个神经元x的权重为-2，那么当所有其他输入的总和大于-2时，神经元x将提供正激活。
有了这个背景，你的问题的答案如下：
- 不需要，一个偏置输入总是足够的，因为它可以根据与每个单元的权重不同地影响不同的神经元。
- 一般来说，为每个非输入单元设置偏置权重是个好主意，否则没有偏置权重的那些单元的阈值将始终为零。
- 因为一旦学习到，阈值应该在各次试验中保持一致。记住，偏置代表了每个单元如何与输入交互；它本身不是输入。
- 你当然可以，许多人也是这么做的。任何压缩函数通常都可以作为激活函数使用。
