当我这样创建train_op时：
train_op = tf.contrib.layers.optimize_loss( loss=loss, global_step=tf.contrib.framework.get_global_step(), learning_rate=params['learning_rate'], optimizer='Adam')我得到了一个在验证集和测试集上表现良好的工作网络。
如果我只是像这样使用minimize()方法：
optimizer = tf.train.AdamOptimizer(learning_rate=params['learning_rate'])train_op = optimizer.minimize( loss=loss, global_step=tf.train.get_global_step())我得到了更差的结果（精度、召回率、损失），即使在1000步后的第一次验证也是如此，过了一段时间后似乎完全过拟合了（验证集上的损失大致恒定，并且是训练损失的100倍，但精度和召回率崩溃了）
我创建了一个函数，这是contrib版本的清理版本，与直接的Optimizer.minimize()在两个标记的地方不同：
def make_train_op(loss, optimizer, global_step): with tf.variable_scope(None, "OptimizeLoss", [loss, global_step]): # ========================================== # 这部分是与minimize()相比的额外部分 update_ops = set(tf.get_collection(tf.GraphKeys.UPDATE_OPS)) if update_ops: with tf.control_dependencies([update_ops]): loss = tf.identity(loss) # ========================================== gradients = optimizer.calculate_gradients( loss, tf.trainable_variables() ) grad_updates = optimizer.apply_gradients( gradients, global_step=global_step, name="train") # ========================================== # 这一部分也是 with tf.control_dependencies([grad_updates]): train_op = tf.identity(loss) # ========================================== return train_op验证再次表现良好。所有情况下的训练看起来大致相同（并且健康）。网络是一个相对简单的CNN/batchnorm/dropout/maxpool组合，使用交叉熵损失。
我理解这是因为图中的某些操作不会作为损失的依赖项出现，但这些操作是计算梯度所需的。这怎么可能呢？如果这是正常情况，为什么这两个代码片段不是核心的一部分？我在构建模型时应该做些什么来避免这种依赖强制的情况吗？
回答：
问题出在batchnorm更新操作上，实际上这是文档中提到的：
注意：在训练时，需要更新moving_mean和moving_variance。默认情况下，更新操作被放置在tf.GraphKeys.UPDATE_OPS中，因此需要将它们作为train_op的依赖项。例如：
update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)with tf.control_dependencies(update_ops): train_op = optimizer.minimize(loss)