在训练卷积网络的数据预处理中调整图像大小

我正在尝试从jpeg文件加载数据来训练一个卷积网络。这些图像非常大,包含2400万像素,因此加载和使用全分辨率是不切实际的。

为了将图像转换为更实用的格式,我尝试加载每张图像,重新调整其尺寸,然后将其添加到列表中。完成后,我可以将列表转换为numpy数组,并像往常一样输入网络进行训练。

我的问题是我的数据集非常大,每张图像调整尺寸需要大约一秒钟,这意味着以我目前的方式调整每张图像的大小是不可行的:

length_training_DF = 30000for i in range(length_training_DF):    im = plt.imread(TRAIN_IM_DIR + trainDF.iloc[i]['image_name'] + '.jpg')    image = block_reduce(im, block_size=(10, 10, 1), func=np.max)    trainX.append(image)

我还使用了以下方法:

length_training_DF = 30000from keras.preprocessing import imagefor i in range(50):    img = image.load_img(TRAIN_IM_DIR + trainDF.iloc[0]['image_name'] + '.jpg', target_size=(224, 224))    trainX.append(ima)

有什么方法可以更快地将这些图像加载成适合训练网络的格式吗?我考虑过使用keras数据集,可能通过使用tf.keras.preprocessing.image_dataset_from_directory(),但存储图像数据的目录没有正确地格式化为包含相同目标的文件夹,这是该方法所要求的。

这些图像用于二分类问题。


回答:

通常的方法是编写一个预处理脚本,加载大图像,重新调整它们的尺寸,如果需要,还可以应用其他操作,然后将每个类别保存到单独的目录中,这是ImageDataGenerator所要求的。

这样做的至少有三个充分的理由:

  • 通常,您将运行数十次训练过程。您不希望每次都进行重新调整尺寸或例如自动白平衡。
  • ImageDataGenerator提供了增强您的训练数据集的重要方法。
  • 它是一个开箱即用的好生成器。您可能不希望将整个数据集加载到内存中。

Related Posts

我需要微调像ResNet50这样的最先进的CNN模型的最后几层卷积层吗?

我的毕业项目是使用迁移学习在CNN模型上进行COVID…

如何对PDF原始数据进行K-Means聚类

我想根据PDF文档的结构进行聚类,而不仅仅是文本内容。…

是什么模型或成本函数塑造了这些线条?

已关闭。 此问题不符合 Stack Overflow …

如何去除从图像中提取的不需要的文本?

我正在开发一个名为“名片扫描仪”的项目。我使用pyte…

如何为PyTorch层赋名?

在之前的问题之后,我想绘制权重、偏置、激活和梯度,以实…

训练自定义NER Spacy模型需要多少数据/上下文?

我正在尝试使用Spacy和命名实体识别从简历中提取之前…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注