我读过这篇文章,https://www.tensorflow.org/api_docs/python/tf/keras/layers/Dropout。Dropout通过使ANN中的一些神经元不活跃来帮助防止过拟合。但是下一个问题是…
既然我们可以调整ANN中神经元的数量,为什么我们必须让神经元Dropout呢?例如,这段代码有什么不同?
第一种
model = tf.keras.models.Sequential([ tf.keras.layers.Flatten(input_shape=(28, 28)), tf.keras.layers.Dense(100, activation='relu'), tf.keras.layers.Dropout(0.2), tf.keras.layers.Dense(10)]);
第二种
model = tf.keras.models.Sequential([ tf.keras.layers.Flatten(input_shape=(28, 28)), tf.keras.layers.Dense(80, activation='relu'), tf.keras.layers.Dense(10)]);
我们使用80个神经元代替100个,这样就相当于Dropout了其中的20个神经元
回答:
在使用Dropout的每个训练阶段中,会随机选择并移除一些神经元。在测试阶段,每个神经元都会被使用。
因此,第一种方法是使用100个神经元,但它们是以这种方式被训练的。[第一次] H1, H2, H3, …, H80 被训练[第二次] H61, H62, …, H100 被训练…
第二种方法是使用80个神经元,并且它们每次都被训练。