我使用Adam优化器构建了两个CNN分类器。一个应用了0.05的dropout,另一个没有使用dropout。我得到了以下每个情况的准确率和损失值,哪一个表现得更好?我注意到它们的准确率相当,但使用dropout的分类器的损失结果更好,且波动较小。
下面,第一张图是启用了0.5 dropout的分类器,第二张图是未启用dropout的分类器
回答:
你添加的dropout减轻了过拟合效应;本质上,这就是为什么在没有dropout/任何其他正则化的情况下,损失图不会像那样大幅波动的原因。
即使在没有dropout/正则化的模型上验证集的准确率可能略高(高1-2%),你应该期望第二个模型(包含dropout)在未见数据(测试集)上表现得更好。
应该选择dropout模型;此外,你可以尝试使用不同的dropout阈值来测试性能。另外,最好有一个测试集来快速验证你的任何假设。
请注意,你在这里使用验证集作为测试集,但它们的用途是不同的。你实际展示的是训练-验证损失/准确率,而不是训练-测试损失/准确率。