我目前正在尝试使用卫星图像来识别苹果园。在这个过程中,我遇到了一个小问题,那就是每个类别的代表性数据数量不足。
事实上,我的疑问是:
在每次epoch中,是否可以从我的“非苹果”类别中随机选取一些不同的图像,因为这类图像的数量远多于“苹果”类别,我希望增加网络对不具有代表性的图像进行分类的概率。
提前感谢您的帮助
回答:
在Keras中这是不可能的。Keras默认会打乱您的训练数据,然后以mini-batch的方式进行训练。然而,仍有方法可以重新平衡您的数据集。
您所面临的不平衡训练数据问题相当普遍。您有许多可用的选项;我列出以下几种:
- 您可以使用
model.fit()
函数中的class_weight
关键字来调整各类别的相对权重。 - 您可以对“苹果”类别进行“上采样”,或对“非苹果”类别进行“下采样”,以便在训练期间两类别的数量相等。
- 您可以生成“苹果”类别的合成图像来增强您的数据集。为此,Keras中的ImageDataGenerator类特别有用。这个Keras教程是对其使用情况的一个很好的介绍。
根据我的经验,我发现第2和第3种方法最有用。第1种方法受到限制,因为当使用相差几个数量级的类别权重和较小的批量大小时,随机梯度下降的收敛性会受到影响。
Jason Brownlee整理了一份处理不平衡类别的策略列表,这对您可能也有用。