Fine Tuning 维度错误

我在尝试使用 Resnet50 进行图像分类问题时遇到了错误,并且无法解决它。

RuntimeError: inconsistent tensor size, expected tensor [120 x 2048] and src [1000 x 2048] to have the same number of elements, but got 245760 and 2048000 elements respectively at /Users/soumith/code/builder/wheel/pytorch-src/torch/lib/TH/generic/THTensorCopy.c:86  

错误发生在以下代码中。

self.resnet = models.resnet50(num_classes=num_breeds, pretrained='imagenet')

模型代码如下

class Resnet(nn.Module):    def __init__(self):        super(Resnet,self).__init__()        self.resnet = models.resnet50(num_classes=num_breeds, pretrained='imagenet')        #self.resnet = nn.Sequential(*list(resnet.children())[:-2])        #self.fc = nn.Linear(2048,num_breeds)    def forward(self,x):        x = self.resnet(x)        return x

回答:

当你使用 num_classes=num_breeds 创建 models.resnet50 时,最后一层是一个从 2048num_classes 的全连接层(在你的例子中是120)。

使用 pretrained='imagenet' 会让 PyTorch 加载所有对应的权重到你的网络中,但它的最后一层是针对1000个类别设计的,而不是120个。这就是错误的来源,因为 2048x120 的张量与加载的权重 2048x1000 不匹配。

你可以选择创建一个具有1000个类别的网络并加载权重,然后“剪裁”到你想要保留的类别。或者你可以创建一个你想要的具有120个类别的网络,但需要手动加载权重。在后一种情况下,你只需要特别注意最后一层即可。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注