这是一个非常简单的例子：

这将输出，

tensor([2., 2., 0., 0., 0.]),

当然，因为当z为零时，ds/dx为零。

我的问题是：PyTorch是否足够智能，在遇到零时停止计算？还是实际上会进行“2*5”的计算，然后再进行“10 * 0 = 0”的计算？

在这个简单的例子中，这并没有太大区别，但在我在研究的更大的问题中，这将产生影响。

感谢任何建议。

回答：

不，PyTorch不会在达到零时修剪任何后续计算。更糟糕的是，由于浮点运算的工作方式，所有后续的乘零操作将大致花费与常规乘法相同的时间。

然而，在某些情况下，有办法绕过这个问题，例如，如果你想使用掩码损失，你可以简单地将掩码输出设置为零，或者将它们从梯度中分离出来。

这个例子清楚地展示了区别：

def time_backward(do_detach):    x = torch.tensor(torch.rand(100000000), requires_grad=True)    y = torch.tensor(torch.rand(100000000), requires_grad=True)    s2 = torch.sum(x * y)    s1 = torch.sum(x * y)    if do_detach:        s2 = s2.detach()    s = s1 + 0 * s2    t = time.time()    s.backward()    print(time.time() - t)time_backward(do_detach= False)time_backward(do_detach= True)

输出为：

0.5028750896450.198422908783