我有一个(N, k, 1)的张量，这是通过堆叠k个网络的标量预测结果得到的。N是批次大小。

所有预测的目标是相同的，即t。我如何高效地计算损失（例如均方误差）？我现在做的是将每个网络的预测分开，然后将各自的损失相加。

stacked_predictions  # (N, k, 1) tensor with the predictionst  # common targetpredictions = [prediction[:, i] for i in range(stacked_predictions.size()[1])]loss = sum(self.loss(prediciton, t) for prediction in predictions)optimizer.zero_grad()loss.backward()optimizer.step()

有没有更高效的方法来实现同样的效果？

回答：

是的，幸运的是你可以很容易地用广播在Python中实现这一点：假设：

N=100 #例如k=10 #例如stacked_predictions = torch.randn(N, k, 1)  # (N, k, 1) tensor with the predictionst = torch.randn(N,1)  # common target

然后，你可以获得loss的高效等效计算：

loss = k * nn.MSELoss()(stacked_predictions, t[:, None, :])

（在你的情况下，将nn.MSELoss()替换为self.loss）。注意，t[:, None, :]在t中间添加了一个单例维度，使t的形状变为(N,1,1)，而stacked_predictions的形状为(N,k,1)。当你对这两个张量调用nn.MSELoss()时，深层内部t将被广播以匹配stacked_predictions的形状，这正是你不需要自己重复t的原因。

注意，我添加了对k的乘法，因为你想要的是沿维度1（大小为k的维度）求和而不是求平均。如果你想要所有预测的平均值，可以省略这个乘法。