我想使用Pytorch的Crossentropyloss,但不知为何我的代码只能在批量大小为2时正常工作,因此我认为可能是目标和输出的形状有问题。我得到了以下错误:
Value Error: Expected target size (50, 2), got torch.Size([50, 3])
我的目标尺寸是(N=50, batchsize=3)
,我的模型输出是(N=50, batchsize=3, 类别数=2)
。在输出层之前,我的形状是(N=50, batchsize=3, 维度=64)。
我需要如何改变形状才能让Crossentropyloss正常工作?
回答:
在没有更多关于你的模型的信息的情况下,我的建议如下。你有一个多对多的RNN,它输出(seq_len, batch_size, nb_classes)
,而目标是(seq_len, seq_len)
。nn.CrossEntropyLoss
模块可以接受额外的维度(batch_size, nb_classes, d1, d2, ..., dK)
作为输入。
你可以通过调整轴的顺序来使其工作,使输出的张量形状变为(batch_size, nb_classes, seq_len)
。这样做应该可以实现:
output = output.permute(0, 2, 1)
此外,你的目标也需要改变为(batch_size, seq_len)
:
target = target.permute(1, 0)