如何将学习率调度器与以下优化器一起使用？

optimizer = torch.optim.Adam(optim_params,betas=(args.momentum, args.beta), weight_decay=args.weight_decay)

我编写了以下调度器：

scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=100, gamma=0.9)

我不确定应该先调用调度器还是优化器。以下步骤的顺序应该如何安排？

optimizer.zero_grad()scheduler.step()optimizer.step()

回答：

自版本1.3以来，行为已发生变化，请参见发布说明以及这个特别的问题。

在该版本之前，您应该在optimizer之前step调度器，这在我看来是不合理的。曾经有过一些讨论（实际上这打破了向后兼容性，而且在我看来，为这样一个小不便打破它并不是一个好主意），但目前您应该在optimizer之后step调度器。

optimizer.zero_grad()optimizer.step()scheduler.step()