为什么我们在Tensorflow中必须使用Dropout?

我读过这篇文章,https://www.tensorflow.org/api_docs/python/tf/keras/layers/Dropout。Dropout通过使ANN中的一些神经元不活跃来帮助防止过拟合。但是下一个问题是…

既然我们可以调整ANN中神经元的数量,为什么我们必须让神经元Dropout呢?例如,这段代码有什么不同?

第一种

model = tf.keras.models.Sequential([  tf.keras.layers.Flatten(input_shape=(28, 28)),  tf.keras.layers.Dense(100, activation='relu'),  tf.keras.layers.Dropout(0.2),  tf.keras.layers.Dense(10)]);

第二种

model = tf.keras.models.Sequential([  tf.keras.layers.Flatten(input_shape=(28, 28)),  tf.keras.layers.Dense(80, activation='relu'),  tf.keras.layers.Dense(10)]);

我们使用80个神经元代替100个,这样就相当于Dropout了其中的20个神经元


回答:

在使用Dropout的每个训练阶段中,会随机选择并移除一些神经元。在测试阶段,每个神经元都会被使用。

因此,第一种方法是使用100个神经元,但它们是以这种方式被训练的。[第一次] H1, H2, H3, …, H80 被训练[第二次] H61, H62, …, H100 被训练…

第二种方法是使用80个神经元,并且它们每次都被训练。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注