我有一个关于神经网络的问题
假设我有60个训练样本,20个验证样本和20个测试样本。每个epoch,我会遍历这60个训练样本,同时调整每个样本的权重,并计算每个验证样本的误差。
据我所知,权重更新发生在训练集上(不是验证集)
但我听说将验证集与训练集分开是为了避免过拟合。
那么我的问题是
如果验证集不用于更新神经网络的权重,验证集如何帮助神经网络避免过拟合?
回答:
正如你所说,验证集并不用于更新神经网络的权重,但它用于监控训练的进展。预防过拟合的第一步是检测它,而使用验证集提供了一种独立的衡量网络在训练集之外泛化能力的方法。
例如,你可以使用验证集来决定何时停止训练(在开始过拟合之前)。如果你这样做,记得使用另一组数据(测试集)来生成最终的评估指标。