我正在尝试理解Tensorflow调试器tfdbg的工作原理:
with sv.managed_session(config=config_proto) as session: session = tf_debug.LocalCLIDebugWrapperSession(session) for i in range(config.max_epoch): session.run(model.lr)
当调试器启动时,它会呈现以下窗口:
我在阅读文档和观看YouTube上的一个小教程后,仍然无法理解“run”和“step”命令实际代表什么,更重要的是,它们与神经网络训练的时间步长和轮次(epochs)有什么关系?
根据文档:
“run”命令会使tfdbg执行到下一个Session.run()调用结束,该调用使用测试数据集计算模型的准确性。
但Session.run只是:
… TensorFlow计算的一个“步骤”,通过运行必要的图形片段来执行fetches中的每个操作并评估每个张量,使用feed_dict中的值替代相应的输入值。
我对TensorFlow还比较新,对如何在神经网络步骤和轮次的术语中解释“run”仍不理解。这当然使得使用tfdbg变得困难,因为在几次“run”之后,我得到了大约5000行的杂项张量和操作,我需要在其中搜索,而我不知道我在看的是一个时间步骤还是一个轮次的结果。在开发神经网络模型时,我们不会以会话运行的术语来思考,对吗?
那么,一个轮次中有多少次会话“run”,这样我至少可以找到进入损失操作的张量?
回答:
在大多数TensorFlow模型中,一个session.run调用会处理一批训练数据。每轮次中有多少个小批次取决于你所使用的具体模型和数据集。
