最近，许多深度架构在训练时使用了“批量归一化”。

什么是“批量归一化”？它在数学上做了什么？它如何帮助训练过程？

批量归一化在训练过程中是如何使用的？它是插入到模型中的一个特殊层吗？我需要在每一层之前都进行归一化，还是只需要一次？

假设我在训练时使用了批量归一化。这会影响我的测试时模型吗？我应该在我的“部署”网络中用其他/等效的层/操作替换批量归一化吗？

这个问题关于批量归一化的讨论只涵盖了这个问题的一部分，我希望得到更详细的回答。更具体地说，我想知道使用批量归一化进行训练如何影响测试时的预测，即“部署”网络和网络的测试阶段。

回答：

批量归一化适用于那些可能遭受有害漂移的层。其数学原理很简单：找出每个组件的均值和方差，然后应用标准变换将所有值转换为相应的Z分数：减去均值并除以标准差。这确保了各个组件的范围非常相似，这样它们都有机会影响训练中的增量（在反向传播中）。

如果你只是使用网络进行纯测试（没有进一步的训练），那么可以简单地删除这些层；它们已经完成了它们的任务。如果你在测试/预测/分类时进行训练，那么就保留它们；这些操作不会损害你的结果，而且几乎不会减慢前向计算的速度。

至于Caffe的具体情况，实际上与Caffe没有特别的关系。计算是一个基本的统计过程，任何框架的代数都是相同的。当然，对于支持向量和矩阵数学的硬件，会有一些优化，但这些优化只是利用了芯片内置的操作。

对评论的回应

如果你能负担得起一些额外的训练时间，是的，你希望在每一层都进行归一化。在实践中，较少频繁地插入它们——比如，每1-3个inception——也能很好地工作。

在部署时你可以忽略这些，因为它们已经完成了它们的任务：当没有反向传播时，就没有权重的漂移。此外，当模型在每个批次中只处理一个实例时，Z分数总是0：每个输入都恰好是批次的均值（因为它是整个批次）。