我训练了一个模型,进行了50个epochs,并按照以下比例分割了数据集:
- X_train, Y_train = 70%
- X_validation, Y_validation = 20%
- X_test, Y_test = 10%
所有分割均使用train_test_split(shuffle=True)
Keras函数完成:
X = np.load(....)Y = np.load(....)# 在训练和验证数据上分割N_validation = int(len(X) * 0.2)X_train, X_validation, Y_train, Y_validation = train_test_split(X, Y, test_size=N_validation)# 再次分割训练数据以获得测试数据N_test = int(len(X_train) * 0.1)X_train, X_test, Y_train, Y_test = train_test_split(X_train, Y_train, test_size=N_test)
这是历史图。
如历史图所示,验证准确率/损失与训练准确率/损失非常相似。有时验证损失甚至低于训练损失。关于最后一点,我在这里读到,这可能是由于较高的dropout值引起的。这可能是事实,因为我有一个dropout层,rate=0.3。我不明白的是,这是否是一个问题。
在测试集上测试模型时,我的准确率达到了91%。
回答:
总的来说,这并不构成问题。这是一个相当好的现象。机器学习流程旨在获得有利的测试集准确率。有两种情况测试集准确率不足。
欠拟合是指模型不够复杂,无法映射输入和输出的依赖关系,并且在训练和验证数据集上表现不佳,损失高,准确率低。
过拟合是指模型在训练集上表现良好,但在测试集上表现不佳。这就是您提到的“验证损失甚至低于训练损失”的情况。过拟合通常通过简化模型复杂性来解决,例如使用dropout方法。
关于欠拟合/过拟合以及解决它们的更多信息可以在博客中轻松找到。这是一个好信号,表明您的模型在训练/验证数据集上表现良好。
然而,一个担忧是,您在训练时可能混淆了训练/测试数据集,如果您在多次分割时混淆了数据或没有设置恒定的随机种子。如果不是这种情况,请不要担心!