我们必须对神经网络的输入数据进行缩放吗？这会如何影响神经网络的最终解？

我尝试寻找了一些可靠的来源。书籍《统计学习的要素》（第400页）提到，这有助于选择合理的初始随机权重来开始训练。

难道最终的权重不是确定的吗，无论我们使用什么初始随机权重？

谢谢你。

回答：

首先，有许多类型的ANN，我假设你指的是最简单的多层感知器和反向传播算法。

其次，在你的问题中，你混淆了数据缩放（归一化）和权重初始化。

你需要随机初始化权重来避免学习时的对称性（如果所有权重初始相同，它们的更新也会相同）。一般来说，具体的值并不重要，但过大的值可能会导致收敛速度变慢。

你不需要对数据进行归一化，但归一化可以使学习过程更快。更多细节请参见这个问题。