我在TensorFlow 1.15中开发一个程序，用于计算不同向量的Hessian-向量乘积
def hessian_v_prod(self, v): with tf.GradientTape() as t1: with tf.GradientTape() as t2: # 评估使用self.variables的损失函数 loss_val = self.loss() grad = t2.gradient(loss_val, self.variables) v_hat = tf.reduce(tf.multiply(v, grad)) return t1.gradient(v_hat, self.variables)每次调用这个函数时，都必须评估内部循环并计算梯度，但无论v的值如何，这个过程都是相同的。我如何在每次调用这个函数时重用grad的值？
我注意到可以创建一个tf.GradientTape(persist=True)的记录带，这样可以保留记录带的资源，但我不知道如何将其整合到我的函数中。
回答：
我不得不深入研究GradientTape的内部工作原理，但最终还是解决了这个问题。这里分享一下，供其他可能遇到相同问题的人参考。剧透警告：这有点hacky！
首先，调用时到底发生了什么
with tf.GradientTape() as tape: loss_value = self.loss()tape.gradient(loss_value, vars)要弄清楚这一点，我们需要检查在with块的开始和结束时分别调用的__enter__()和__exit__()函数。
在tensorflow_core/python/eager/backprop.py中
def __enter__(self): """进入一个上下文，在这个上下文中，操作将被记录在这个记录带上。""" self._push_tape() return selfdef __exit__(self, typ, value, traceback): """退出记录上下文，不再跟踪任何操作。""" if self._recording: self._pop_tape()我们可以自己使用这些私有函数来控制记录，而不需要with块。
# 初始化外部和内部记录带self.gt_outer = tf.GradientTape(persistent=True)self.gt_inner = tf.GradientTape(persistent=True)# 开始记录self.gt_outer._push_tape()self.gt_inner._push_tape()# 评估使用self.variables的损失函数loss_val = self.loss()# 停止内部记录带的记录self.gt_inner._pop_tape()# 在内部记录带上评估梯度self.gt_grad = self.gt_inner.gradient(loss_val, self.variables)# 停止外部记录带的记录self.gt_outer._pop_tape()现在，每当我们需要评估Hessian向量乘积时，我们可以重用外部梯度记录带。
def hessian_v_prod(self, v): self.gt_outer._push_tape() v_hat = tf.reduce(tf.multiply(v, self.gt_grad)) self.gt_outer._pop_tape() return self.gt_outer.gradient(v_hat, self.variables)请注意，我们在持久化记录带，因此每次评估Hessian向量乘积时都会使用更多的内存。没有办法保留部分记录带的内存，因此在某些时候有必要重置记录带。
# 重置记录带self.gt_outer._tape = Noneself.gt_inner._tape = None在重置后再次使用它们时，我们需要重新评估内部循环。这不是完美的解决方案，但它完成了任务，并且在牺牲更大内存使用的情况下，显著提高了速度（几乎是原来的两倍）。
