我目前正在尝试训练一个模型（超网络），该模型可以预测另一个模型（主网络）的权重，使得主网络的交叉熵损失减少。然而，当我使用tf.assign将新权重分配给网络时，它不允许反向传播到超网络中，从而使系统不可微分。我已经测试了我的权重是否正确更新，它们似乎是更新过的，因为当从更新后的权重中减去初始权重时，结果是一个非零和。

这是一个我试图实现的最小样本。

有谁知道如何让Tensorflow计算这些梯度吗？谢谢。

回答：

在这种情况下，你的权重不是变量，它们是基于超网络计算得到的张量。在训练过程中，你实际上只有一个网络。如果我理解正确的话，你接下来提议丢弃超网络，并能够仅使用主网络进行预测。

如果是这样的话，你可以手动保存权重值并重新加载它们作为常量，或者你可以使用tf.cond和tf.assign在训练过程中分配它们，但使用tf.cond来选择使用变量还是计算得到的张量，这取决于你是进行训练还是推理。

在训练过程中，你需要使用来自超网络的计算得到的张量来启用反向传播。

来自评论的示例，w是你将要使用的权重，你可以在训练过程中分配一个变量来跟踪它，但随后使用tf.cond来选择使用变量（在推理时）还是来自超网络的计算值（在训练时）。在这个例子中，你需要传入一个布尔占位符is_training_placeholder来指示你是进行训练还是推理。

tf.assign(w_variable, w_from_hypernetwork)w = tf.cond(is_training_placeholder, true_fn=lambda: w_from_hypernetwork, false_fn=lambda: w_variable)