在训练了一个深度学习模型大约100个周期后:
Train accuracy : 93 %Test accuracy : 54 %
然后训练准确率增加而测试准确率下降:
Train accuracy : 94 %Test accuracy : 53 %Train accuracy : 95 %Test accuracy : 52 %Train accuracy : 96 %Test accuracy : 51 %
对于模型的初始版本,我们对54%的准确率感到满意,但我不知道训练准确率增加、测试准确率下降除了模型过拟合之外还有什么含义。我应该在达到最大测试准确率(在这种情况下是54%)时停止训练模型并使用已训练的参数吗?
从观察到训练准确率增加和测试准确率下降中,我能获得什么知识?这是否是一个更强烈的过拟合例子?
回答:
是的,这绝对是过拟合。你应该在测试准确率停止增加的点终止训练过程。根据你展示的数字,你的模型实际上过拟合得很多。你应该考虑添加正则化来可能提高测试准确率。
(我补充说):正如@***所说,正则化是防止过拟合的有效方法。你可以考虑例如L2正则化或Dropout,这些是最常见的正则化方法之一。
这个问题在评论中得到了回答,由于没有人写出答案,我将这个答案设为社区wiki答案。这是为了将这个问题从未回答列表中移除。原始答案来自@***。提问者被鼓励选择这个答案以移除问题的未回答状态。(如果在评论中回答的人决定写一个答案,提问者可以,而且应该,选择那个答案。)