我想计算神经网络中两个张量之间的梯度。输入X张量（批次大小 x m）通过一组卷积层处理后，得到输出Y张量（批次大小 x n）。
我正在创建一个新的损失函数，我想知道Y相对于X的梯度。在TensorFlow中，这会类似于：
tf.gradients(ys=Y, xs=X)
遗憾的是，我尝试使用torch.autograd.grad()进行测试，但无法弄清楚如何实现。我遇到了类似于“RunTimeerror: grad can be implicitly created only for scalar outputs”的错误。
如果我想知道Y相对于X的梯度，torch.autograd.grad()的输入应该是什么？
回答：
让我们从一个简单的示例开始，使用普通的损失函数和常规的反向传播。我们将构建一个简短的计算图，并在其上进行一些梯度计算。
代码：
import torchfrom torch.autograd import gradimport torch.nn as nn# 创建一些虚拟数据。x = torch.ones(2, 2, requires_grad=True)gt = torch.ones_like(x) * 16 - 0.5 # "ground-truths" # 我们将使用MSELoss作为示例。loss_fn = nn.MSELoss()# 进行一些计算。v = x + 2y = v ** 2# 计算损失。loss = loss_fn(y, gt)print(f'Loss: {loss}')# 现在计算梯度：d_loss_dx = grad(outputs=loss, inputs=x)print(f'dloss/dx:\n {d_loss_dx}')输出：
Loss: 42.25dloss/dx:(tensor([[-19.5000, -19.5000], [-19.5000, -19.5000]]),)好的，这有效！现在让我们尝试重现“grad can be implicitly created only for scalar outputs”的错误。正如你所注意到的，前一个示例中的损失是一个标量。默认情况下，backward()和grad()处理单一标量值：loss.backward(torch.tensor(1.))。如果你尝试传递具有更多值的张量，你会得到一个错误。
代码：
v = x + 2y = v ** 2try: dy_hat_dx = grad(outputs=y, inputs=x)except RuntimeError as err: print(err)输出：
grad can be implicitly created only for scalar outputs
因此，在使用grad()时，你需要按以下方式指定grad_outputs参数：
代码：
v = x + 2y = v ** 2dy_dx = grad(outputs=y, inputs=x, grad_outputs=torch.ones_like(y))print(f'dy/dx:\n {dy_dx}')dv_dx = grad(outputs=v, inputs=x, grad_outputs=torch.ones_like(v))print(f'dv/dx:\n {dv_dx}')输出：
dy/dx:(tensor([[6., 6.],[6., 6.]]),)dv/dx:(tensor([[1., 1.], [1., 1.]]),)注意： 如果你使用backward()，只需执行y.backward(torch.ones_like(y))即可。
