我试图将最后一个卷积层的输出传递到FCC层,但我在处理维度上遇到了困难。默认情况下,网络使用AdaptiveAvgPool2d(output_size=(6, 6)),这不允许我为了重现性目的使用torch.use_deterministic_algorithms(True)。这是我得到的错误:
*mat1 dim 1 must match mat2 dim 0*
(10): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)) (11): ReLU(inplace=True) (12): MaxPool2d(kernel_size=3, stride=2, padding=0, dilation=1, ceil_mode=False) ) (avgpool): AdaptiveAvgPool2d(output_size=(6, 6)) (classifier): Sequential( (0): Dropout(p=0.5, inplace=False) (1): Linear(in_features=9216, out_features=4096, bias=True)
输入张量的形状是:[10, 3, 350, 350]。来自最后一个Conv2d/MaxPool2d层的张量形状是:torch.Size([10, 256, 9, 9])。我认为FCC的输入数量应该是256 x 9 x 9 = 20736,但这也不起作用。
这里是我用于将CONV层的输出传递到FCC层的类:
class Identity(nn.Module): def __init__(self): super(Identity, self).__init__() def forward(self, x): print('SHAPE', np.shape(x)) return x
这个想法来自于视频:https://www.youtube.com/watch?v=qaDe0qQZ5AQ&t=301s。非常感谢您的帮助。
回答:
TLDR; 你的全连接层的神经元数量没问题,你的形状有问题。
-
在你的CNN和分类器之间的
nn.AdaptativeAveragePool2d
层会输出一个形状为(10, 256, 6, 6)
的张量,因为你已经用output_size
初始化为(6, 6)
。因此,第一个全连接层应该有256*6*6
个神经元。self.fc = nn.Linear(in_features=9216, out_features=4096)
这与你当前模型的设置相匹配,而不是你提出的20736
…
-
你的分类器输入形状应该被扁平化,可以通过定义一个扁平化层
nn.Flatten
来实现(或者使用内联替代方案)。首先在初始化器中定义你的层:self.flatten = nn.Flatten()
然后
>>> x.shape # nn.AdaptativeAveragePool2d 输出torch.Size([10, 256, 6, 6])>>> self.flatten(x)torch.Size([10, 9216])