在测试期间进行批量归一化时，应该如何计算每个激活输入（在每一层和输入维度）的均值和方差？是记录训练时的均值和方差，计算整个训练集的均值和方差，还是计算整个测试集的均值和方差？

许多人说必须预先计算均值和方差，但如果使用计算整个测试集的均值和方差的方法，不是在进行前向传播时（而不是“预先”）计算整个测试集的均值和方差吗？

非常感谢您的所有帮助！

回答：

在测试时进行预测时，您始终使用训练的统计数据，无论是简单的变换还是批量归一化。

我建议尝试cs231n课程以了解更多相关信息。这是我在编写代码时如何实现批量归一化的：GitHub链接。

如果测试统计数据与训练统计数据显著不同，这意味着测试数据整体上是不同的，模型将无法很好地工作。在这种情况下，无论如何您都需要寻找不同的训练数据。但更精确地说，当您在以某种方式处理的数据上训练模型时，它不会在以不同方式处理的数据上表现良好。

让我们想象一下只有1个测试样本——即您想为一个客户或其他任何东西做出预测。在这种情况下，您根本无法计算测试统计数据。其次，让我们考虑批量归一化。数据被归一化后，现在的值显示原始数据与某个平均值的标准偏差差异是多少。因此，模型将使用这些信息进行训练。如果您使用测试统计数据来归一化测试数据，那么值将显示与不同平均值的偏差。