我在阅读PyTorch关于多类分类问题的教程时，发现PyTorch中损失计算的行为让我很困惑。你能帮我解答这个问题吗？
用于分类的模型结构如下：
class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(3, 6, 5) self.pool = nn.MaxPool2d(2, 2) self.conv2 = nn.Conv2d(6, 16, 5) self.fc1 = nn.Linear(16 * 5 * 5, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) def forward(self, x): x = self.pool(F.relu(self.conv1(x))) x = self.pool(F.relu(self.conv2(x))) x = x.view(-1, 16 * 5 * 5) x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) x = self.fc3(x) return x训练过程如下：
optimizer.zero_grad()outputs = net(inputs)loss = nn.CrossEntropyLoss(outputs, labels)loss.backward()optimizer.step()我的问题是：PyTorch中这里的损失计算的具体行为是什么？在每次迭代中，nn.CrossEntropyLoss()的输入有两个部分：
- 模型的输出，是一个10×1的张量，内部包含不同的值。这是一个未归一化为概率的张量。
- 标签作为标量，例如1或2或3。
据我所知，交叉熵的计算通常在两个张量之间进行，如下所示：
- 目标张量如[0,0,0,1]，其中1表示正确类别
- 输出张量如[0.1,0.2,0.3,0.4]，其总和为1。
基于这个假设，nn.CrossEntropyLoss()在这里需要实现以下步骤：
- 首先将输出张量归一化为概率分布。
- 将标签编码为独热编码，例如5类中的2编码为[0,1,0,0,0]。编码后的长度必须与输出张量相同。
- 然后计算损失。
我想问的是，nn.CrossEntropyLoss()是否执行了这些步骤？还是我们在输入模型之前需要对真实标签进行独热编码？
非常感谢您提前花费的时间！
回答：
nn.CrossEntropyLoss首先应用log-softmax (log(Softmax(x)))来获取对数概率，然后计算负对数似然，如文档中所述：
该标准结合了
nn.LogSoftmax()和nn.NLLLoss()在一个类中。
当使用独热编码的目标时，可以按以下方式计算交叉熵：
其中y是独热编码的目标向量，ŷ是每个类的概率向量。为了获得概率，你需要对模型的输出应用softmax。对数概率被使用，PyTorch将对数和softmax结合成一个操作nn.LogSoftmax()，以确保数值稳定性。
由于独热向量中除一个值外其他值都为零，因此总和中只有一个项是非零的。因此，根据实际类别，可以简化为：
只要知道类别索引，就可以直接计算损失，因此使用独热编码的目标效率更低，所以nn.CrossEntropyLoss期望接收类别索引。
完整的计算在nn.CrossEntropyLoss的文档中有详细描述：
损失可以描述为：
