为什么我们必须对神经网络的输入进行归一化？

我理解有时候，当输入值是非数值时，必须进行某种转换，但当我们有数值输入时呢？为什么这些数字必须在某个区间内？

如果数据未归一化会发生什么？

回答：

在这里有很好的解释 这里。

如果输入变量以线性方式组合，如在多层感知机（MLP）中，那么理论上至少很少有必要对输入进行标准化。其原因是任何对输入向量的重新缩放都可以通过改变相应的权重和偏置来有效地撤销，让你得到与之前完全相同的输出。然而，出于各种实际原因，标准化输入可以使训练更快，并减少陷入局部最优的几率。此外，使用标准化输入可以更方便地进行权重衰减和贝叶斯估计。