当我阅读论文《批量归一化：通过减少内部协变量偏移加速深度网络训练》时，有几个问题浮现在我的脑海中。

论文中提到：

由于训练数据中的m个样本可以估计所有训练数据的均值和方差，我们使用小批量来训练批量归一化参数。

我的问题是：

他们是选择m个样本然后同时拟合批量归一化参数，还是为每个输入维度选择不同的m个样本集？

例如，训练集由x(i) = (x1,x2,...,xn)组成：n维对于固定的批量M = {x(1),x(2),...,x(N)}，执行拟合所有gamma1~gamman和beta1~betan。

相对的

对于gamma_i，beta_i选择不同的批量M_i = {x(1)_i,...,x(m)_i}

回答：

我在cross-validated和data-science上没有找到这个问题，所以我只能在这里回答。如果有必要，请随时迁移。

均值和方差是通过移动平均法一次性计算每个小批量中所有维度的。这在TensorFlow中的代码看起来是这样的：

mean, variance = tf.nn.moments(incoming, axis)update_moving_mean = moving_averages.assign_moving_average(moving_mean, mean, decay)update_moving_variance = moving_averages.assign_moving_average(moving_variance, variance, decay)with tf.control_dependencies([update_moving_mean, update_moving_variance]):  return tf.identity(mean), tf.identity(variance)

你不必担心技术细节，这是发生的情况：

• 首先，计算整个批量incoming的mean和variance，沿着批量轴。它们都是向量（更准确地说，是张量）。
• 然后，通过assign_moving_average调用更新当前值moving_mean和moving_variance，这基本上计算的是：variable * decay + value * (1 - decay)。

每次执行批量归一化时，它知道当前批量和之前批量的一些统计数据。