神经网络 – 训练集和验证集是否需要单独标准化？

我正在训练一个5-5-2的反向传播神经网络，在阅读了LeCun的这篇优秀文章后，我开始实践他提出的一些想法。

目前，我正在使用自己编写的10折交叉验证算法进行评估，其基本流程如下：

for each epoch        for each possible split (training, validation)    train and validate  end  compute mean MSE between all k splitsend

我的输入和输出都已标准化（均值为0，方差为1），我使用的是tanh激活函数。所有网络算法似乎运作正常：我用相同的实现来近似正弦函数，效果相当好。

现在，问题正如标题所示：我应该分别标准化每个训练/验证集，还是只需一次性标准化整个数据集？

请注意，如果我选择后者，网络将无法产生有意义的预测，但我更希望得到一个更“理论化”的答案，而不仅仅是看输出结果。

顺便说一下，我用C语言实现了这个，但我也熟悉C++。

回答：

你最好单独标准化每个训练集。交叉验证的目的是了解你的算法的泛化能力。当你将网络应用于新的输入时，这些输入不会是用来计算标准化参数的那些。如果你一次性标准化整个数据集，你就忽略了新输入可能超出你标准化值范围的可能性。

所以，除非你计划每次处理新输入时都重新标准化（我猜这不太可能），否则你应该只为正在评估的分区的训练集计算标准化参数。此外，你应该仅在分区的训练集上计算这些参数，而不是验证集（即，每个10折分区将使用90%的数据来计算标准化参数）。

学技术