我尝试使用VGG/Inception对MNIST数据集进行迁移学习。但是这两个网络都需要至少224x224x3大小的图像。我该如何将28x28x1的MNIST图像调整到224x224x3大小来进行迁移学习?
回答:
实现你所问的方法通常是将图像简单地调整到CNN输入层所需的分辨率。因为你使用了keras标签,keras有一个预处理模块,可以让你加载图像并选择性地指定你想要调整图像的大小。如果你查看该方法的实际源代码:https://github.com/keras-team/keras/blob/master/keras/preprocessing/image.py#L321,它内部使用Pillow的插值方法来将图像调整到所需的分辨率。
此外,由于MNIST数字最初是灰度图像,你需要将单通道图像复制成多通道图像,使其人为地变成RGB图像。这意味着红色、绿色和蓝色通道都是相同的,并且是MNIST灰度的对应物。load_img
方法有一个额外的标志grayscale
,你可以将其设置为False
来将图像加载为RGB图像。
一旦你将这些图像转换为RGB并调整大小后,你就可以进行VGG19的迁移学习。事实上,这之前已经做过。你可以参考这个链接:https://www.analyticsvidhya.com/blog/2017/06/transfer-learning-the-art-of-fine-tuning-a-pre-trained-model/,并查看第6节:使用预训练模型识别数字。
我需要提醒你,将28 x 28的图像调整到224 x 224的图像会产生严重的插值伪影。你将对由于上采样而包含噪声的图像数据进行迁移学习,但这正是我在前面链接的博客文章中所做的。我建议你将插值方法改为bilinear
或bicubic
。默认使用最近邻插值,对于上采样图像来说效果很差。
结果可能会有所不同,所以尝试将图像调整到输入层所需的大小,并填充三个通道使其成为RGB图像,看看会发生什么。