你好,我正在使用VGG16预训练模型进行深度学习的迁移学习。我希望从VGG16中提取特征来构建我自己的模型,因为我只能使用CPU。这是我的构建和训练设置。
import osimport numpy as npfrom keras.preprocessing.image import ImageDataGeneratorfrom sklearn.metrics import confusion_matrixfrom keras.applications import Xception, VGG16, ResNet50conv_base = VGG16(weights='imagenet',include_top=False,input_shape=(224, 224, 3))conv_base.summary()base_dir = 'NewDCDatatset'train_dir = os.path.join(base_dir, 'Train')validation_dir = os.path.join(base_dir, 'Validation')test_dir = os.path.join(base_dir, 'Test')datagen = ImageDataGenerator(rescale=1./255)batch_size = 5def extract_features(directory, sample_count): features = np.zeros(shape=(sample_count, 7 , 7 , 512)) labels = np.zeros(shape=(sample_count,2)) generator = datagen.flow_from_directory(directory,target_size=(224, 224),batch_size=batch_size,class_mode='categorical') i = 0 for inputs_batch, labels_batch in generator: features_batch = conv_base.predict(inputs_batch) features[i * batch_size : (i + 1) * batch_size] = features_batch labels[i * batch_size : (i + 1) * batch_size] = labels_batch i += 1 if i * batch_size >= sample_count: break return features, labelstrain_features, train_labels = extract_features(train_dir, 2000)validation_features, validation_labels = extract_features(validation_dir,420 )test_features, test_labels = extract_features(test_dir, 420)train_features = np.reshape(train_features, (2000, 7 * 7 * 512))validation_features = np.reshape(validation_features, (420, 7 * 7 * 512))test_features = np.reshape(test_features, (420, 7 * 7 * 512))from keras import modelsfrom keras import layersfrom keras import optimizersmodel = models.Sequential()model.add(layers.Dense(64, activation='relu', input_dim=7 * 7 * 512))model.add(layers.Dense(2, activation='softmax'))model.compile(optimizer='adam',loss='categorical_crossentropy',metrics=['acc'])history = model.fit(train_features, train_labels,epochs=2,batch_size=5,shuffle=True)print(model.evaluate(test_features,test_labels))model.save('TLFACE.h5')#predictions = model.predict_generator(test_features,steps = 5)#print(predictions)
这是我通过模型预测新图像以分类猫和狗的方式的设置,但我没有得到那么准确的结果,很少能正确分类任何图像。我不知道自己犯了什么错误,是预测时调整图像大小的问题还是其他什么原因。
from keras.models import load_modeldeep = load_model('TLFACE.h5')from PIL import Imageimport numpy as npimport cv2file_nam = '4705.jpg'img = cv2.imread(file_nam)img = cv2.imshow('frame',img)cv2.waitKey(1000)img = Image.open(file_nam).convert("L")img = img.resize((256,98))im2arr = np.array(img)im2arr = im2arr.reshape(1,25088)# Predicting the Test set r1esultsy_pred = deep.predict(im2arr)print(y_pred)print(y_pred[0][0])
回答:
根据你的代码,你的模型接收一个大小为1 x 7*7*512 = 1 x 25088
的特征向量。这些特征是在conv_base
模型中对图像的编码(在你的extract_features
方法中实现)。
然而,在你的预测示例中,你只是拿到一张图像,将其调整为(256,98)
,然后展平为(1,25088)
。你完全跳过了extract_features
阶段。换句话说,你试图在与训练(以及fit
方法下的自动测试)时完全不同的数据上进行预测。你需要在测试时使用完全相同的预处理方法,这意味着首先将图像调整到224x224x3
的大小,然后使用conv_base
模型提取特征,最后使用你的新模型对提取的特征进行预测。
说了这么多,我想建议你使用非常“脏”的实现方式,这样的组织不够合理,很容易因此感到困惑。你实际上是想构建一个对图像进行分类的单一模型,而不是进行提取特征等繁重的编码工作。要做到这一点,你可以简单地使用如下代码:
pretrained_vgg16 = VGG16(weights='imagenet', include_top=False, input_shape=(224, 224, 3))pretrained_vgg16.trainable = False # 如果你不想在训练期间修改基础模型的权重,这一点很重要new_model = models.Sequential([pretrained_vgg16, layers.Flatten(), layers.Dense(64, activation='relu'), layers.Dense(2,activation='softmax')])
此外,请注意,决定在训练期间是否修改预训练模型的权重非常重要。如果不希望修改,你需要调用pretrained_vgg16.trainable = False
这一行代码。
现在你可以使用new_model.fit
,并使用一个加载图像并将其调整为224x224x3
的生成器,而无需显式地提取特征。另一个重要评论是,原始的VGG16模型很可能是在归一化数据上训练的(这意味着像素值被归一化为[0,1]
范围),你也需要对你的图像进行同样的预处理以获得理想的结果。