训练完成后验证数据会怎样?

我不是机器学习专家,但我通常的训练机器学习模型的流程是在数据清洗后,使用scikit-learn的train_test_split函数将数据集分为训练集和测试集

from sklearn.model_selection import train_test_splitx_train, x_test, y_train, y_test = train_test_split(X.values,                                                y.values,                                                test_size=0.30,                                                random_state=0)

跳过整个模型构建过程…当你定义并编译模型后开始训练模型(拟合)时,你可以使用如下的验证分割参数

history = model.fit(X_train, y_train, epochs=10,validation_split=0.2)

这似乎再次将训练数据集分出20%的数据点用于训练过程中的模型验证。如果你的数据集有1000个数据点(行),上面的第一段代码会导致有700个数据点用于训练,300个用于测试

第二段代码会再次从700个数据点中取出20%用于验证,留下640个数据点用于训练,160个用于验证

这导致我们用于训练模型的数据量变小了。

但我最近遇到了一种方法,可以使用测试数据进行验证,如下所示

history = model.fit(x_train, y_train, validation_data=(x_test, y_test))

我的问题是,训练完成后验证数据会怎样?它会自动添加到训练数据中,从而在最后提高我们的准确率吗?另外,使用测试数据进行验证是否足够?如果我们这样做,当我们尝试使用测试数据评估模型时,会有什么影响吗?


回答:

keras所述(最后的model.fit方法中使用validation_data来自keras)

validation_split

介于0和1之间的浮点数。用于验证数据的训练数据的比例。模型将分离出这一比例的训练数据,不会在其上进行训练,并在每个epoch结束时评估该数据上的损失和任何模型指标。验证数据是从提供的x和y数据的最后样本中选择的,在洗牌之前。

validation_data

用于在每个epoch结束时评估损失和任何模型指标的数据。模型不会在这些数据上进行训练。这可以是一个列表(x_val, y_val)或一个列表(x_val, y_val, val_sample_weights)。validation_data将覆盖validation_split。

因此,在这种设置下,模型不会在验证数据上进行训练。

理论上,验证数据用于评估你的模型并调整其超参数。

如果你需要将这个模型投入生产,你应该使用所有数据重新训练模型,知道性能将是你从验证/测试数据中获得的性能

无论如何,验证/测试数据上的性能通常是对性能的乐观估计

来源

Related Posts

如何对SVC进行超参数调优?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

如何在初始训练后向模型添加训练数据?

我想在我的scikit-learn模型已经训练完成后再…

使用Google Cloud Function并行运行带有不同用户参数的相同训练作业

我正在寻找一种方法来并行运行带有不同用户参数的相同训练…

加载Keras模型,TypeError: ‘module’ object is not callable

我已经在StackOverflow上搜索并阅读了文档,…

在计算KNN填补方法中特定列中NaN值的”距离平均值”时

当我从头开始实现KNN填补方法来处理缺失数据时,我遇到…

使用巨大的S3 CSV文件或直接从预处理的关系型或NoSQL数据库获取数据的机器学习训练/测试工作

已关闭。此问题需要更多细节或更清晰的说明。目前不接受回…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注