我们从Pytorch文档中得到了以下代码:
x = torch.randn(3)x = Variable(x, requires_grad=True)y = x * 2while y.data.norm() < 1000: y = y * 2gradients = torch.FloatTensor([0.1, 1.0, 0.0001])y.backward(gradients)我们传递给backward方法的gradients参数到底是什么，以及我们是基于什么来初始化它的？
回答：
要完全回答你的问题，需要一个较长的解释，涉及到反向传播或更基本的链式法则的工作细节。
简短的程序化回答是，一个Variable的backward函数会计算附着在这个Variable上的计算图中所有变量的梯度。（为了澄清：如果有a = b + c，那么计算图（递归地）首先指向b，然后指向c，然后指向它们是如何计算的，等等），并且累积地存储（求和）这些梯度在这些变量的.grad属性中。当你调用opt.step()时，即优化器的一步，它会将这些梯度的一部分添加到这些变量的值上。
然而，从概念上看，有两个答案：如果你想训练一个机器学习模型，你通常希望得到相对于某个损失函数的梯度。在这种情况下，计算出的梯度将使整体损失（一个标量值）在应用步长函数时减少。在这种特殊情况下，我们希望计算相对于特定值的梯度，即单位长度步长（这样学习率将计算我们想要的梯度的一部分）。这意味着，如果你有一个损失函数，并且你调用loss.backward()，这将计算与loss.backward(torch.FloatTensor([1.]))相同的结果。
虽然这是DNN中反向传播的常见用例，但它只是函数一般微分的一个特例。更一般地说，符号微分包（在这种情况下是pytorch的一部分的autograd）可以用来计算计算图早期部分相对于你选择的任何子图根部的任何梯度的梯度。这就是关键字参数gradient派上用场的时候，因为你可以在这里提供这个“根级别”的梯度，即使对于非标量函数也是如此！
为了说明，这里有一个小例子：
a = nn.Parameter(torch.FloatTensor([[1, 1], [2, 2]]))b = nn.Parameter(torch.FloatTensor([[1, 2], [1, 2]]))c = torch.sum(a - b)c.backward(None) # 可以是c.backward(torch.FloatTensor([1.]))，结果相同print(a.grad, b.grad) 打印:
Variable containing: 1 1 1 1[torch.FloatTensor of size 2x2] Variable containing:-1 -1-1 -1[torch.FloatTensor of size 2x2]而
a = nn.Parameter(torch.FloatTensor([[1, 1], [2, 2]]))b = nn.Parameter(torch.FloatTensor([[1, 2], [1, 2]]))c = torch.sum(a - b)c.backward(torch.FloatTensor([[1, 2], [3, 4]]))print(a.grad, b.grad)打印:
Variable containing: 1 2 3 4[torch.FloatTensor of size 2x2] Variable containing:-1 -2-3 -4[torch.FloatTensor of size 2x2]还有
a = nn.Parameter(torch.FloatTensor([[0, 0], [2, 2]]))b = nn.Parameter(torch.FloatTensor([[1, 2], [1, 2]]))c = torch.matmul(a, b)c.backward(torch.FloatTensor([[1, 1], [1, 1]])) # 我们相对于非标量变量计算，所以提供的梯度也不能是标量！print(a.grad, b.grad)打印
Variable containing: 3 3 3 3[torch.FloatTensor of size 2x2] Variable containing: 2 2 2 2[torch.FloatTensor of size 2x2]还有
a = nn.Parameter(torch.FloatTensor([[0, 0], [2, 2]]))b = nn.Parameter(torch.FloatTensor([[1, 2], [1, 2]]))c = torch.matmul(a, b)c.backward(torch.FloatTensor([[1, 2], [3, 4]])) # 我们相对于非标量变量计算，所以提供的梯度也不能是标量！print(a.grad, b.grad)打印:
Variable containing: 5 5 11 11[torch.FloatTensor of size 2x2] Variable containing: 6 8 6 8[torch.FloatTensor of size 2x2]