阈值在反向传播算法中的作用是什么？我编写了一个Java代码用于类别标签识别。我为神经元使用了一些随机阈值（0-1）。我训练了系统并使用一些数据进行了测试。效果相当不错。但是使用或不使用阈值，算法有什么区别呢？

回答：

你所说的“阈值”实际上是神经元中仿射变换的偏置

f(w,x,b) = g(<w,x>+b)

偏置不应如你所建议的那样作为常数使用，而应像网络中的任何其他参数一样进行训练。通常，人们会添加一个假设的“偏置神经元”，其值始终为1，因此偏置就变成了另一个权重

f(w,x,b) = g(<[w b], [x 1]>)

为什么偏置很重要？一般来说，没有偏置意味着，你在神经元中训练的“过滤器”（特征检测器）必须通过原点。你可以将每个神经元视为输入空间中的一个超平面，你围绕这个超平面“折叠”空间，使你的数据变得更易分离。如果没有偏置——所有这些超平面都在原点处闭合。如果你将它们固定为常数——你就固定了它们与原点的距离。最后，如果你训练它们——算法可以自由地将它们放置在输入空间中（这是期望的行为）。