当我这样创建train_op时：

train_op = tf.contrib.layers.optimize_loss(    loss=loss,    global_step=tf.contrib.framework.get_global_step(),    learning_rate=params['learning_rate'],    optimizer='Adam')

我得到了一个在验证集和测试集上表现良好的工作网络。

如果我只是像这样使用minimize()方法：

optimizer = tf.train.AdamOptimizer(learning_rate=params['learning_rate'])train_op = optimizer.minimize(    loss=loss,    global_step=tf.train.get_global_step())

我得到了更差的结果（精度、召回率、损失），即使在1000步后的第一次验证也是如此，过了一段时间后似乎完全过拟合了（验证集上的损失大致恒定，并且是训练损失的100倍，但精度和召回率崩溃了）

我创建了一个函数，这是contrib版本的清理版本，与直接的Optimizer.minimize()在两个标记的地方不同：

def make_train_op(loss, optimizer, global_step):    with tf.variable_scope(None, "OptimizeLoss", [loss, global_step]):        # ==========================================        # 这部分是与minimize()相比的额外部分        update_ops = set(tf.get_collection(tf.GraphKeys.UPDATE_OPS))        if update_ops:            with tf.control_dependencies([update_ops]):                loss = tf.identity(loss)        # ==========================================        gradients = optimizer.calculate_gradients(            loss,            tf.trainable_variables()        )        grad_updates = optimizer.apply_gradients(            gradients,            global_step=global_step,            name="train")        # ==========================================        # 这一部分也是        with tf.control_dependencies([grad_updates]):            train_op = tf.identity(loss)        # ==========================================        return train_op

验证再次表现良好。所有情况下的训练看起来大致相同（并且健康）。网络是一个相对简单的CNN/batchnorm/dropout/maxpool组合，使用交叉熵损失。

我理解这是因为图中的某些操作不会作为损失的依赖项出现，但这些操作是计算梯度所需的。这怎么可能呢？如果这是正常情况，为什么这两个代码片段不是核心的一部分？我在构建模型时应该做些什么来避免这种依赖强制的情况吗？

回答：

问题出在batchnorm更新操作上，实际上这是文档中提到的：

注意：在训练时，需要更新moving_mean和moving_variance。默认情况下，更新操作被放置在tf.GraphKeys.UPDATE_OPS中，因此需要将它们作为train_op的依赖项。例如：

update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)with tf.control_dependencies(update_ops):    train_op = optimizer.minimize(loss)