我一直在开发一个图像分类器,现在我想查看模型在验证集中错误分类的图像。我的想法是比较真实值和预测值,并使用不匹配的值的索引来获取图像。然而,当我尝试比较准确率时,我得到的结果与使用evaluate方法时得到的结果不同。以下是我所做的:
我使用以下函数导入数据:
def create_dataset(folder_path, name, split, seed, shuffle=True): return tf.keras.preprocessing.image_dataset_from_directory( folder_path, labels='inferred', label_mode='categorical', color_mode='rgb', batch_size=32, image_size=(320, 320), shuffle=shuffle, interpolation='bilinear', validation_split=split, subset=name, seed=seed)train_set = create_dataset(dir_path, 'training', 0.1, 42)valid_set = create_dataset(dir_path, 'validation', 0.1, 42)# output:# Found 16718 files belonging to 38 classes.# Using 15047 files for training.# Found 16718 files belonging to 38 classes.# Using 1671 files for validation.
然后,我使用以下代码行来评估验证集的准确率:
model.evaluate(valid_set)# output:# 53/53 [==============================] - 22s 376ms/step - loss: 1.1322 - accuracy: 0.7349# [1.1321837902069092, 0.7348892688751221]
这个结果很好,因为这些值与训练的最后一个epoch中得到的值完全相同。
为了从验证集中提取真实标签,我使用了基于这个答案的代码行。请注意,我需要重新创建验证集,因为每次调用引用验证集的变量时,验证集都会被打乱。我原以为这是导致准确率不一致的原因,但显然这并没有解决问题。
y_val_true = np.concatenate([y for x, y in create_dataset(dir_path, 'validation', 0.1, 42)], axis=0)y_val_true = np.argmax(y_val_true, axis=1)
我进行预测:
y_val_pred = model.predict(create_dataset(dir_path, 'validation', 0.1, 42))y_val_pred = np.argmax(y_val_pred, axis=1)
最后,我再次计算准确率以验证一切正常:
m = tf.keras.metrics.Accuracy()m.update_state(y_val_true, y_val_pred)m.result().numpy()# output:# 0.082585275
如你所见,与运行evaluate方法时得到的相同值相比,现在我只得到了8%的准确率。
如果您能指出我的方法哪里有问题,我将不胜感激。这是我的第一个提问,提前为我可能犯的任何错误道歉。
回答:
这种方法可以帮助提供洞察,如果你想逐批显示或分析
m = tf.keras.metrics.Accuracy()# 迭代单个批次以跟踪输入模型的图像for valid_images, valid_labels in valid_set.as_numpy_iterator(): y_val_true = np.argmax(valid_labels, axis=1) # 模型也可以接受数据集之外的输入。因此,在收集图像后 # 你可以将它们作为输入提供。 y_val_pred = model.predict(valid_images) y_val_pred = np.argmax(y_val_pred, axis=1) # 在每个批次后更新准确率指标的状态 m.update_state(y_val_true, y_val_pred)m.result().numpy()
如果你想一次性输入所有数据
valid_ds = create_dataset(dir_path, 'validation', 0.1, 42, shuffle=False)y_val_true = np.concatenate([y for x, y in valid_ds], axis=0)y_val_true = np.argmax(y_val_true, axis=1)y_val_pred = model.predict(valid_ds)y_val_pred = np.argmax(y_val_pred, axis=1)m = tf.keras.metrics.Accuracy()m.update_state(y_val_true, y_val_pred)m.result().numpy()
虽然我没有在你的代码中找到错误。