在进行MAML（模型无关的元学习）时，内循环有两种方式：
def inner_loop1(): n_inner_iter = 5 inner_opt = torch.optim.SGD(net.parameters(), lr=1e-1) qry_losses = [] qry_accs = [] meta_opt.zero_grad() for i in range(task_num): with higher.innerloop_ctx( net, inner_opt, copy_initial_weights=False ) as (fnet, diffopt): # 通过对模型参数进行梯度步骤来优化支持集的可能性。 # 这将模型的元参数适应任务。 # higher能够自动保持网络参数的副本，因为它们正在被更新。 for _ in range(n_inner_iter): spt_logits = fnet(x_spt[i]) spt_loss = F.cross_entropy(spt_logits, y_spt[i]) diffopt.step(spt_loss) # 最终的适应参数集将在查询数据集上产生一些最终损失和准确率。 # 这些将用于更新模型的元参数。 qry_logits = fnet(x_qry[i]) qry_loss = F.cross_entropy(qry_logits, y_qry[i]) qry_losses.append(qry_loss.detach()) qry_acc = (qry_logits.argmax( dim=1) == y_qry[i]).sum().item() / querysz qry_accs.append(qry_acc) # 更新模型的元参数以优化此批次中所有采样任务的查询损失。 # 这将通过梯度步骤展开。 qry_loss.backward() meta_opt.step() qry_losses = sum(qry_losses) / task_num qry_accs = 100. * sum(qry_accs) / task_num i = epoch + float(batch_idx) / n_train_iter iter_time = time.time() - start_timedef inner_loop2(): n_inner_iter = 5 inner_opt = torch.optim.SGD(net.parameters(), lr=1e-1) qry_losses = [] qry_accs = [] meta_opt.zero_grad() meta_loss = 0 for i in range(task_num): with higher.innerloop_ctx( net, inner_opt, copy_initial_weights=False ) as (fnet, diffopt): # 通过对模型参数进行梯度步骤来优化支持集的可能性。 # 这将模型的元参数适应任务。 # higher能够自动保持网络参数的副本，因为它们正在被更新。 for _ in range(n_inner_iter): spt_logits = fnet(x_spt[i]) spt_loss = F.cross_entropy(spt_logits, y_spt[i]) diffopt.step(spt_loss) # 最终的适应参数集将在查询数据集上产生一些最终损失和准确率。 # 这些将用于更新模型的元参数。 qry_logits = fnet(x_qry[i]) qry_loss = F.cross_entropy(qry_logits, y_qry[i]) qry_losses.append(qry_loss.detach()) qry_acc = (qry_logits.argmax( dim=1) == y_qry[i]).sum().item() / querysz qry_accs.append(qry_acc) # 更新模型的元参数以优化此批次中所有采样任务的查询损失。 # 这将通过梯度步骤展开。 #qry_loss.backward() meta_loss += qry_loss meta_loss.backward() meta_opt.step() qry_accs = 100. * sum(qry_accs) / task_num i = epoch + float(batch_idx) / n_train_iter iter_time = time.time() - start_time它们真的等价吗？
交叉发布：
回答：
唯一的区别是，在第二种方法中，你需要在内存中保留更多的东西——在你调用backward之前，你需要为每个task_num迭代保留所有展开的参数fnet.parameters(time=T)（连同中间计算张量）作为聚合meta_loss图的一部分。如果你对每个任务都调用backward，你只需要为一个任务保留完整的展开参数集（和其他图形部分）。
所以回答你标题的问题：因为在这种情况下，内存占用是task_num的task_num倍大。
简而言之，你所做的事情类似于比较以下代码中的loopA(N)和loopB(N)。在这里，loopA将尽可能多地占用内存，并在足够大的N时导致内存溢出，而loopB将对任何大的N使用大致相同数量的内存：
import torchimport numpy as npa = 0np.random.seed(1)v = torch.tensor(np.random.randn(1000000))y = torch.tensor(np.random.randn(1000000))x = torch.zeros(1000000, requires_grad=True)def loopA(N=1000): a = 0 for i in range(N): a += ((x * v - y)**2).sum() a.backward()def loopB(N=1000): for i in range(N): a = ((x * v - y)**2).sum() a.backward()关于归一化——两种方法是等价的（可能在数值精度上有所不同）：如果你先将各个损失相加，然后除以task_num，最后调用backward，那么你将有效地计算d((Loss_1 + ... + Loss_{task_num})/task_num) / dw（其中w是元优化器正在拟合的权重之一）。另一方面，如果你对每个损失除以task_num后调用backward，你将得到d(Loss_1/task_num)/dw + ... + d(Loss_{task_num}/task_num)/dw，这是相同的，因为取梯度操作是线性的。所以在这两种情况下，你的元优化器步骤将以几乎相同的梯度开始。
