我在测试PyTorch上的预训练Inception v3模型。我输入了一个256×256大小的图像,并将其调整到299×299。在两种情况下,图像都被正确分类了。
能有人解释一下为什么PyTorch的预训练模型可以接受不是299×299的图像吗?
回答:
这是因为PyTorch对Inception v3的实现使用了在全连接层之前的自适应平均池化层。
如果你查看torchvision/models/inception.py
中的Inception3
类,与你的问题最相关的操作是x = F.adaptive_avg_pool2d(x, (1, 1))
。由于平均池化是自适应的,池化前的x
的高度和宽度与输出形状无关。换句话说,经过这个操作后,我们总是得到大小为[b,c,1,1]
的张量,其中b
和c
分别是批次大小和通道数。这样,全连接层的输入总是相同的大小,因此不会引发异常。
尽管如此,如果你使用的是预训练的Inception v3权重,那么该模型最初是为299×299大小的输入进行训练的。使用不同大小的输入可能会对损失/准确率产生负面影响,尽管较小的输入图像几乎肯定会减少计算时间和内存占用,因为特征图会更小。