我想知道，在卷积神经网络中，批量归一化应该针对每个像素单独应用，还是应该针对每个通道计算像素的平均值？

我看到Tensorflow的tf.layers.batch_normalization的描述中建议针对通道进行批量归一化，但如果我没记错的话，我之前使用另一种方法也取得了不错的结果。

回答：

据我所知，在前馈（密集）层中，每个单元（神经元）都有自己的权重，因此对每个单元应用批量归一化。你会跨特征轴进行归一化。

但是，在卷积层中，权重是共享的，跨输入应用，即每个特征图对不同的输入“体”应用相同的变换。因此，你使用每个特征图的均值和方差进行批量归一化，而不是每个单元/神经元。

这就是为什么我认为axis参数值会有不同。