我使用预训练的VGG16模型训练了一个模型来分类四种眼疾。我对机器学习还比较新手，所以不知道如何解读结果。在大约90,000张图片上训练了大约6个小时后：
-
训练准确率和损失都在持续增加（损失从大约2降至0.8，最终准确率达到88%）
-
验证损失在每个epoch之间在1-2之间波动（准确率确实提高到了85%）（我无意中重新运行了单元格，所以看不到输出）
在查看混淆矩阵后，似乎我的测试表现不佳
Image_height = 196Image_width = 300val_split = 0.2batches_size = 10lr = 0.0001spe = 512vs = 32epoch = 10#Creating batches#Creating batchestrain_batches = ImageDataGenerator(preprocessing_function=tf.keras.applications.vgg16.preprocess_input,validation_split=val_split) \ .flow_from_directory(directory=train_folder, target_size=(Image_height,Image_width), classes=['CNV','DME','DRUSEN','NORMAL'], batch_size=batches_size,class_mode="categorical", subset="training")validation_batches = ImageDataGenerator(preprocessing_function=tf.keras.applications.vgg16.preprocess_input,validation_split=val_split) \ .flow_from_directory(directory=train_folder, target_size=(Image_height,Image_width), classes=['CNV','DME','DRUSEN','NORMAL'], batch_size=batches_size,class_mode="categorical", subset="validation")test_batches = ImageDataGenerator(preprocessing_function=tf.keras.applications.vgg16.preprocess_input) \ .flow_from_directory(test_folder, target_size=(Image_height,Image_width), classes=['CNV','DME','DRUSEN','NORMAL'], batch_size=batches_size,class_mode="categorical")#Function to create model. We will be using a pretrained modeldef create(): vgg16_model = keras.applications.vgg16.VGG16(input_tensor=Input(shape=(Image_height, Image_width, 3)),input_shape=(Image_height,Image_width,3), include_top = False) model = Sequential() model.add(vgg16_model) for layer in model.layers: layer.trainable = False model.add(Flatten()) model.add(Dense(4, activation='softmax')) return modelmodel = create()model.compile(Adam(lr=lr),loss="categorical_crossentropy",metrics=['accuracy'])model.fit(train_batches, steps_per_epoch=spe, validation_data=validation_batches,validation_steps=vs, epochs=epoch)
有什么建议可以改善我的模型，使混淆矩阵的表现更好吗？我还有保存的模型，如果可以的话，是否可以用更多的层重新训练它？
回答：
有几个问题和建议。你在使用VGG16模型。该模型有超过4000万可训练参数。在90,000张图片的数据集上，训练时间会很长。所以我建议你考虑使用MobileNet模型。它只有400万可训练参数，并且与VGG16的准确性几乎相同。文档在这里。接下来，无论你使用哪个模型，你都应该将初始权重设置为imagenet权重。你的模型将从训练过的图像开始。我发现通过使模型中的所有层可训练，我能得到更好的结果。现在你说你的模型达到了88%的准确率。我认为这并不好。我相信你需要达到至少95%。你可以通过使用可调整的学习率来实现这一点。Keras回调ReduceLROnPlateau可以轻松做到这一点。文档在这里。将其设置为监控验证损失，如果连续几个epoch未能降低学习率，则降低学习率。接下来，你想保存具有最低验证损失的模型，并使用它来进行预测。Keras回调ModelCheckpoint可以设置为监控验证损失，并保存损失最低的模型。文档在这里。下面的代码展示了如何为你的问题实现MobileNet模型并定义回调。你还需要对生成器进行修改，以使用MobileNet预处理并将目标大小设置为(224,224)。另外，我认为你缺少预处理函数的括号。希望这对你有帮助。
mobile = tf.keras.applications.mobilenet.MobileNet( include_top=False, input_shape=(224, 224,3), pooling='max', weights='imagenet', alpha=1, depth_multiplier=1,dropout=.5) x=mobile.layers[-1].outputx=keras.layers.BatchNormalization(axis=-1, momentum=0.99, epsilon=0.001 )(x)predictions=Dense (4, activation='softmax')(x)model = Model(inputs=mobile.input, outputs=predictions) for layer in model.layers: layer.trainable=Truemodel.compile(Adamax(lr=lr), loss='categorical_crossentropy', metrics=['accuracy'])checkpoint=tf.keras.callbacks.ModelCheckpoint(filepath=save_loc, monitor='val_loss', verbose=0, save_best_only=True, save_weights_only=False, mode='auto', save_freq='epoch', options=None)lr_adjust=tf.keras.callbacks.ReduceLROnPlateau( monitor="val_loss", factor=0.5, patience=1, verbose=0, mode="auto", min_delta=0.00001, cooldown=0, min_lr=0) callbacks=[checkpoint, lr_adjust] [1]: http://httphttps://keras.io/api/applications/mobilenet/s:// [2]: https://keras.io/api/callbacks/reduce_lr_on_plateau/ [3]: https://keras.io/api/callbacks/model_checkpoint/