我有一个输出为向量的Network神经网络。我希望实现一个自定义的损失函数，这个函数是某个类中的方法。看起来像这样：

class whatever:    def __init__(self, network, optimizer):          self.network = network         self.optimizer = optimizer        def cost_function(relevant_data):        ...根据网络输出和相关数据实现损失函数...    def train(self, epochs, other_params):        ...这是我遇到麻烦的部分...

我主要关心的是如何取梯度。因为我使用的是自定义的损失函数，我需要实现关于损失函数的自己的梯度吗？

当我做数学计算时，我意识到如果损失是J，那么J的梯度相对于网络的最后一层的梯度是一个相当简单的函数。即，它看起来像：方程链接。

如果我使用传统的损失函数如CrossEntropy，我的反向传播会看起来像这样：

objective = nn.CrossEntropyLoss()for epochs:    optimizer.zero_grad()    output = Network(input)    loss = objective(output, data)    loss.backward()    optimizer.step()

但在我的情况下，如何做到这一点呢？我猜想可能是这样：

for epochs:     optimizer.zero_grad()     output = Network(input)     loss = cost_function(output, data)     #问题出现在这里     loss.backward()     optimizer.step()     

据我所知，loss.backward()是针对参数的损失函数梯度。但在使用我自己的损失函数时，我仍然可以调用它吗（程序可能不知道梯度方程是什么）。我是否还需要实现另一个方法/子程序来寻找梯度？

这引出了我的另一个问题：如果我确实想为我的损失函数实现梯度计算，我还需要神经网络参数的梯度。我如何获得这些梯度？有没有相应的函数？

回答：

只要从输入到损失函数的所有步骤都涉及到PyTorch张量的可微分操作，你就不需要做任何额外的工作。PyTorch会构建一个计算图，记录每个操作、其输入和梯度。因此，对你的自定义损失调用loss.backward()仍然会通过图正确地传播梯度。PyTorch教程中的torch.autograd的温和介绍可能是一个有用的参考。

在反向传播之后，如果你需要直接访问梯度以进行进一步处理，可以使用.grad属性（对于图中的张量t，使用t.grad）。

最后，如果你有一个特定的用例，需要找到使用PyTorch张量实现的任意可微分函数相对于其输入的梯度（例如，损失相对于网络中特定权重的梯度），你可以使用torch.autograd.grad。