验证集是否用于更新神经网络?

我有一个关于神经网络的问题

假设我有60个训练样本,20个验证样本和20个测试样本。每个epoch,我会遍历这60个训练样本,同时调整每个样本的权重,并计算每个验证样本的误差。

据我所知,权重更新发生在训练集上(不是验证集)

但我听说将验证集与训练集分开是为了避免过拟合。

那么我的问题是

如果验证集不用于更新神经网络的权重,验证集如何帮助神经网络避免过拟合?


回答:

正如你所说,验证集并不用于更新神经网络的权重,但它用于监控训练的进展。预防过拟合的第一步是检测它,而使用验证集提供了一种独立的衡量网络在训练集之外泛化能力的方法。

例如,你可以使用验证集来决定何时停止训练(在开始过拟合之前)。如果你这样做,记得使用另一组数据(测试集)来生成最终的评估指标。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注