当我阅读论文《批量归一化：通过减少内部协变量偏移加速深度网络训练》时，有几个问题浮现在我的脑海中。
论文中提到：
由于训练数据中的m个样本可以估计所有训练数据的均值和方差，我们使用小批量来训练批量归一化参数。
我的问题是：
他们是选择m个样本然后同时拟合批量归一化参数，还是为每个输入维度选择不同的m个样本集？
例如，训练集由x(i) = (x1,x2,...,xn)组成：n维对于固定的批量M = {x(1),x(2),...,x(N)}，执行拟合所有gamma1~gamman和beta1~betan。
相对的
对于gamma_i，beta_i选择不同的批量M_i = {x(1)_i,...,x(m)_i}
回答：
我在cross-validated和data-science上没有找到这个问题，所以我只能在这里回答。如果有必要，请随时迁移。
均值和方差是通过移动平均法一次性计算每个小批量中所有维度的。这在TensorFlow中的代码看起来是这样的：
mean, variance = tf.nn.moments(incoming, axis)update_moving_mean = moving_averages.assign_moving_average(moving_mean, mean, decay)update_moving_variance = moving_averages.assign_moving_average(moving_variance, variance, decay)with tf.control_dependencies([update_moving_mean, update_moving_variance]): return tf.identity(mean), tf.identity(variance)你不必担心技术细节，这是发生的情况：
- 首先，计算整个批量
incoming的mean和variance，沿着批量轴。它们都是向量（更准确地说，是张量）。 - 然后，通过
assign_moving_average调用更新当前值moving_mean和moving_variance，这基本上计算的是：variable * decay + value * (1 - decay)。
每次执行批量归一化时，它知道当前批量和之前批量的一些统计数据。
