我在尝试运行GitHub上的一个动作识别代码。原代码使用了128的批量大小和4个GPU。我只有两个GPU，因此无法匹配他们的批量大小。有没有办法可以补偿这种批量差异？我在某处看到iter_size可以根据公式effective_batchsize= batch_size*iter_size*n_gpu进行补偿。请问这个公式中的iter_size是什么？我使用的是PyTorch而不是Caffe。

回答：

在PyTorch中，当你执行反向传播步骤（调用loss.backward()或类似操作）时，梯度会累积到原地。这意味着如果你多次调用loss.backward()，之前计算的梯度不会被替换，而是新的梯度会累加到之前的梯度上。这就是为什么在使用PyTorch时，通常需要在小批次之间显式地将梯度归零（通过调用optimiser.zero_grad()或类似操作）。

如果你的批量大小受到限制，你可以通过将一个大批量分解成更小的部分，并仅在处理完所有部分后才调用optimiser.step()来更新模型参数，从而模拟更大的批量大小。

例如，假设你只能处理批量大小为64，但你希望模拟批量大小为128。如果原来的训练循环如下所示：

optimiser.zero_grad()loss = model(batch_data) # batch_data是大小为128的批量loss.backward()optimiser.step()

那么你可以将其更改为：

optimiser.zero_grad()smaller_batches = batch_data[:64], batch_data[64:128]for batch in smaller_batches:    loss = model(batch) / 2    loss.backward()optimiser.step()

在每种情况下，对模型参数的更新将是相同的（除了可能存在一些小的数值误差）。请注意，你必须重新调整损失以使更新相同。