这是我在开始理解神经网络时遇到的一个问题，我不完全理解最初应该如何设置“偏置”？我知道感知机基于以下公式计算其输出：

P * W + b > 0

然后你可以基于 b = b + [ G – O ] 计算一个学习模式，其中 G 是正确的输出，O 是实际输出 (1 或 0)，以计算新的偏置……但是最初的偏置呢……我真的不理解它是如何计算的，或者除了“猜测”之外，应该使用什么初始值，是否有任何类型的公式可以计算它？

如果我有什么错误，请原谅，我仍在学习整个神经网络的想法，然后再实现我自己的（拙劣的）神经网络。

学习率也是如此……我的意思是大多数书籍和文章只是随便“选择一个”μ。

回答：

简单来说，这取决于…

1. 在大多数情况下（我认为），你可以像对待任何其他权重一样对待偏置（因此它可能会被初始化为一些小的随机值），并且它会在你训练网络时得到更新。 关键在于，所有的偏置和权重最终都会收敛到一些有用的值。

2. 但是，你也可以手动设置权重（无需训练）以获得一些特殊的行为：例如，你可以使用偏置来使感知机表现得像一个逻辑门（假设二进制输入 X1 和 X2 是 0 或 1，并且激活函数被缩放以给出 0 或 1 的输出）。

OR 门：W1=1，W2=1，偏置=0

AND 门：W1=1，W2=1，偏置=-1

你可以通过在多层网络中使用 AND 和 OR 作为第一层来解决经典的 XOR 问题，并将它们馈送到第三个感知器，其中 W1=3（来自 OR 门），W2=-2（来自 AND 门）和偏置=-2，如下所示：

（注意：如果你的激活函数缩放为 -1/+1，即 SGN 函数，这些值将会有所不同）

3. 至于如何设置学习率，这也取决于（！）但我认为通常建议使用类似 0.01 的值。 基本上，你希望系统尽可能快地学习，但又不能太快以至于权重无法正确收敛。