我正在尝试理解Dropout对验证均方绝对误差（非线性回归问题）的影响。

不使用Dropout

使用0.05的Dropout

使用0.075的Dropout

如1所示，在不使用任何Dropout的情况下，验证损失大于训练损失。我的理解是，对于一个好的拟合，验证损失应该仅略高于训练损失。

我小心地增加了Dropout，使验证损失接近训练损失，如2所示。Dropout仅在训练期间应用，而不在验证期间应用，因此验证损失低于训练损失。

最后，进一步增加了Dropout，验证损失再次超过训练损失，如3所示。

这三者中哪一个应该被称为好的拟合？

根据Marcin Możejko的回应，我对三个测试进行了预测，如4所示。’Y’轴显示的是均方根误差而不是均方绝对误差。’不使用Dropout’的模型给出了最佳结果。

回答：

嗯 – 这真是一个很好的问题。在我看来 – 最低的验证分数（在单独的测试集上确认）是最佳拟合。请记住，最终 – 模型在全新数据上的表现是最关键的，模型在训练集上的表现即使更好也不那么重要。

此外 – 我认为你的模型可能总体上是欠拟合的 – 你可以尝试扩展它，例如增加更多的层或神经元，并使用dropout进行一些修剪，以防止示例记忆化。

如果我的假设被证明是错误的 – 请记住 – 仍然有可能在验证集中存在某些仅有的数据模式（在中等大小数据集中这种情况相对常见），这导致了训练和测试损失的差异。此外 – 我认为即使在不使用Dropout的情况下你的损失值已经饱和，但通过简单地增加训练轮数仍有改进的空间，因为损失似乎有变小的趋势。

我推荐你尝试的另一种技术是在平台期降低学习率（例如使用这个回调），因为你的模型似乎需要用较低的学习率进行细化。