我最近开始探索神经网络的神奇世界。我开始关注Neural Networks and Deep Learning，这本书实现了一个识别手写数字的神经网络。它实现了一个三层网络（1个输入层，1个隐藏层和1个输出层），并使用MNIST数据集进行训练。

我发现两个具有相似层结构[784,30,10]且使用相同数据集训练的神经网络的权重矩阵非常不同。偏置矩阵的情况也是如此。

一般直觉认为，由于我们使用了多个训练周期并在每个周期随机化数据，两个神经网络的权重矩阵应该会收敛到相似的值。但事实证明，它们非常不同。这可能是什么原因呢？

这是NN1的前几个权重：

[array([[-1.2129184 , -0.08418661, -1.58413842, ...,  0.14350188,          1.49436597, -1.71864906],        [ 0.25485346, -0.1795214 ,  0.14175609, ...,  0.4222159 ,          1.28005992, -1.17403326],        [ 1.09796094,  0.66119858,  1.12603969, ...,  0.23220572,         -1.66863656,  0.02761243],.....

这是NN2的前几个权重，具有相同数量的层，并使用相同的训练数据、周期和学习率进行训练：

[array([[-0.87264811,  0.34475347, -0.04876076, ..., -0.074056  ,          0.10218085, -0.50177084],        [-1.96657944, -0.35619652,  1.10898861, ..., -0.53325862,         -1.52680967,  0.26800431],        [-1.24731848,  0.13278103, -1.70306514, ...,  0.07964225,         -0.88724451, -0.40311485],        ...,

回答：

一般直觉认为，由于我们使用了多个训练周期并在每个周期随机化数据，两个神经网络的权重矩阵应该会收敛到相似的值

遗憾的是，这并不正确。这是因为神经网络的损失景观非常复杂，存在许多能够很好泛化的局部最小值。由于初始化和训练过程的随机性，你几乎可以保证会收敛到一组具有良好性能的不同参数。

另外要注意，随机性本身不足以导致不同的结果。例如，线性回归无论初始值和样本顺序如何，都会始终收敛到相同的参数。只有对于凸损失函数，才能保证收敛到相同的参数。