文档对此并不是100%清晰:

注意：在训练时，需要更新moving_mean和moving_variance。默认情况下，更新操作会被放置在tf.GraphKeys.UPDATE_OPS中，因此它们需要作为train_op的依赖项。例如：

(参见 https://www.tensorflow.org/api_docs/python/tf/layers/batch_normalization)

这是否意味着只需要以下操作就能保存moving_mean和moving_variance？

def model_fn(features, labels, mode, params):   training = mode == tf.estimator.ModeKeys.TRAIN   extra_update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)   x = tf.reshape(features, [-1, 64, 64, 3])   x = tf.layers.batch_normalization(x, training=training)   # ...  with tf.control_dependencies(extra_update_ops):     train_op = optimizer.minimize(loss=loss, global_step=tf.train.get_global_step())

换句话说，仅仅使用

with tf.control_dependencies(extra_update_ops):

就能处理保存moving_mean和moving_variance吗？

回答：

事实证明，这些值确实可以自动保存。特殊情况是，如果你在将批量归一化操作添加到图形之前获取更新操作集合，那么更新集合将为空。这之前没有被文档化，但现在已经记录了。

使用批量归一化时的注意事项是在调用tf.layers.batch_normalization之后再调用tf.get_collection(tf.GraphKeys.UPDATE_OPS)。