我正在训练一个模型，其中输入向量是另一个模型的输出。这涉及到在同一进程中从检查点文件恢复第一个模型，同时从头开始初始化第二个模型（使用tf.initialize_variables()）。

由于代码量和抽象程度较高，我这里只粘贴了相关部分。

以下是恢复代码：

self.variables = [var for var in all_vars if var.name.startswith(self.name)]saver = tf.train.Saver(self.variables, max_to_keep=3)self.save_path = tf.train.latest_checkpoint(os.path.dirname(self.checkpoint_path))if should_restore:    self.saver.restore(self.sess, save_path)else:    self.sess.run(tf.initialize_variables(self.variables))

每个模型都在自己的图和会话中进行作用域划分，如下所示：

 self.graph = tf.Graph() self.sess = tf.Session(graph=self.graph) with self.sess.graph.as_default():    # 创建变量和操作。

每个模型中的所有变量都在variable_scope上下文管理器中创建。

数据传递的工作方式如下：

• 一个后台线程在input = scipy.misc.imread(X)上调用sess.run(inference_op)，并将结果放入一个阻塞的线程安全队列中。
• 主训练循环从队列中读取数据，并在第二个模型上调用sess.run(train_op)。

问题：
我观察到，即使在训练的第一次迭代（第二个模型）中，损失值在不同运行中也会发生剧烈变化（并且在几次迭代后变成nan）。我确认了第一个模型的输出每次都是完全相同的。注释掉第一个模型的sess.run，并用从pickle文件中读取的相同输入替换它，不会显示这种行为。

这是train_op：

    loss_op = tf.nn.sparse_softmax_cross_entropy(network.feedforward())    # 应用梯度。    with tf.control_dependencies([loss_op]):        opt = tf.train.GradientDescentOptimizer(lr)        grads = opt.compute_gradients(loss_op)        apply_gradient_op = opt.apply_gradients(grads)    return apply_gradient_op

我知道这很模糊，但我很乐意提供更多细节。任何帮助都将不胜感激！

回答：

问题肯定是由于不同会话对象的并发执行引起的。我将第一个模型的会话从后台线程移到了主线程，反复进行了多次控制实验（运行超过24小时并达到收敛），从未观察到NaN。另一方面，并发执行会在几分钟内使模型发散。

我已经重构了我的代码，以使用一个公共会话对象来处理所有模型。