假设你正在使用Pytorch优化器，例如torch.optim.Adam(model_parameters)。

那么在你的训练循环中，你会看到类似这样的代码：

optimizer = torch.optim.Adam(model_parameters)# put the training loop hereloss.backward()optimizer.step()optimizer.zero()

有什么方法可以监控优化器的步骤吗？以确保你没有停留在平坦区域，从而因为梯度为零而没有采取任何步骤。也许检查学习率会是一个解决方案？

回答：

在这里回答我自己的问题。

最佳做法是（在PyTorch中）检查叶子张量的梯度。如果梯度为None但is_leaf属性设置为True，那么显然有什么地方出错了。

torch.nn.Parameters(‘insert your tensor here’)在这方面特别容易引起混淆。因为张量需要定义为torch.nn.Parameters才能成功更新。我建议不要使用tensor.requires_grad_(True)，因为这会让torch感到困惑。仅按上述方式设置你的参数。