我使用卷积网络对图像进行分类。这是一个多类别问题（共有12个类别）

我的训练集有3500张图像，类别不平衡（例如，类别A有1200张图像，类别B有50张图像）。我使用类别权重来对抗不平衡，并进行了数据增强

编辑 数据增强使用的是Keras函数，仅进行旋转和翻转操作。我只对训练集进行增强

由于有些类别的数据量非常小，我进行了60%训练集/20%验证集/20%测试集的划分（即对于类别B，我有30个训练数据/10个验证数据/10个测试数据）

然后我进行了不同的划分，每次使用不同的训练/验证和测试数据，结果稳定 => 我的指标（微观F1分数）在不同划分下变化不大，混淆矩阵显示没有类别效应：不同的划分并不意味着对特定类别的结果不同

现在，我将模型应用于一个没有标签的数据集。大约有10000张图像，结果非常差：当我在测试集上对类别B的精确度达到60%时，在没有标签的数据集上的精确度大约为5%

我的问题：

这可能是过拟合吗？当我停止训练模型时，训练损失=0.3/训练F1=95%。验证损失=0.7/验证F1=80%。我不这么认为，因为验证损失没有增加（我在它增加之前就停止了模型）

我应该调查什么来理解为什么我在新的10000张数据集上的结果如此差（当我说我的结果时，我指的是精确度，因为这是我能轻松计算的唯一指标，对于某些类别来说）

回答：

可能是因为你的模型在对类别B的少量图像进行学习并进行了增强而导致过拟合。增强确实增加了数据量，但图像的内容本质上保持不变。如果你新的无标签类别B图像与训练图像相似，那么你应该不会遇到这个问题，但如果它们不同，那么你就会遇到这个问题。你也可以对增强后的图像进行训练，但仅用原始图像进行验证，以防止过拟合并帮助模型更好地泛化。请看这个链接。

你可以尝试的另一件事是从其他类别中抽取一个小样本，训练一个没有增强的新模型，然后测试这些图像。这将为你提供一些关于模型是否在增强数据上过拟合的澄清。

如果你仅在Keras中进行基础的增强，你也可以尝试更高级的增强技术，如GAN。如果可能，请更新你的问题以包含增强步骤。