我在玩弄自己编写的用于xor运算的神经网络代码。我编写了这个模型：

import tensorflow as tffrom tensorflow import kerasimport matplotlib.pyplot as pltmodel = keras.Sequential()model.add(tf.keras.Input(shape=(2,)))#model.add(keras.layers.Dense(2))model.add(keras.layers.Dense(4, activation='relu'))model.add(keras.layers.Dense(16, activation='relu'))model.add(keras.layers.Dense(1, activation='sigmoid'))optimizer = keras.optimizers.Adam(lr=0.2) #for examplemodel.compile(optimizer=optimizer,              loss=tf.losses.BinaryCrossentropy(),              metrics=['accuracy'])# X_train, Y_train = ([[0, 0], [0, 1], [1, 0], [1, 1]], [[0], [1], [1], [0]])X_train = tf.cast([[0, 0], [0, 1], [1, 0], [1, 1]], tf.float32)Y_train = tf.cast([0, 1, 1, 0], tf.float32)# train model and plot losshist = model.fit(X_train, Y_train, epochs=10000)plt.plot(hist.history['loss'])plt.show()print(model.predict([[0, 1]]))print(model.predict([[1, 1]]))print(model.predict([[1, 0]]))print(model.predict([[0, 0]]))

有一半的时间，这个模型会达到100%的准确率，而另一半时间只能达到75%（有时甚至是50%）。即使经过10000个周期，模型仍然无法找到合适的拟合方式！

我注意到简单地如代码所示调整层顺序就会始终获得100%的准确率。

model.add(tf.keras.Input(shape=(2,)))#model.add(keras.layers.Dense(2))#model.add(keras.layers.Dense(4, activation='relu'))model.add(keras.layers.Dense(16, activation='relu'))model.add(keras.layers.Dense(1, activation='sigmoid'))

问题

为什么会发生这种情况？为什么这个简单的模型即使经过10000个周期也无法很好地拟合，而新模型只需要不到500个周期？是什么让旧模型特定的收敛到那个百分比？

回答：

每当你观察到多次运行相同的网络配置会导致非常不同的行为时，这意味着初始权重配置（这是运行之间唯一的差异）是导致这种情况的原因。然而，这并不意味着初始化方案有问题。这可能仅仅意味着梯度下降在你提供的初始化的参数空间附近很快就陷入了困境。

这种情况发生的一个主要原因是学习率过大：网络很早就跳到了一个局部最小值，但却卡在了这个谷的边缘而不是其最小值。如果你将学习率改为lr=0.01，你会发现网络每次都能达到100%的准确率。

我的猜测是，你提供的另一个网络能够使用更高的学习率，因为它有更少的参数，因此需要操作的参数空间更简单。