在训练卷积网络的数据预处理中调整图像大小

我正在尝试从jpeg文件加载数据来训练一个卷积网络。这些图像非常大,包含2400万像素,因此加载和使用全分辨率是不切实际的。

为了将图像转换为更实用的格式,我尝试加载每张图像,重新调整其尺寸,然后将其添加到列表中。完成后,我可以将列表转换为numpy数组,并像往常一样输入网络进行训练。

我的问题是我的数据集非常大,每张图像调整尺寸需要大约一秒钟,这意味着以我目前的方式调整每张图像的大小是不可行的:

length_training_DF = 30000for i in range(length_training_DF):    im = plt.imread(TRAIN_IM_DIR + trainDF.iloc[i]['image_name'] + '.jpg')    image = block_reduce(im, block_size=(10, 10, 1), func=np.max)    trainX.append(image)

我还使用了以下方法:

length_training_DF = 30000from keras.preprocessing import imagefor i in range(50):    img = image.load_img(TRAIN_IM_DIR + trainDF.iloc[0]['image_name'] + '.jpg', target_size=(224, 224))    trainX.append(ima)

有什么方法可以更快地将这些图像加载成适合训练网络的格式吗?我考虑过使用keras数据集,可能通过使用tf.keras.preprocessing.image_dataset_from_directory(),但存储图像数据的目录没有正确地格式化为包含相同目标的文件夹,这是该方法所要求的。

这些图像用于二分类问题。


回答:

通常的方法是编写一个预处理脚本,加载大图像,重新调整它们的尺寸,如果需要,还可以应用其他操作,然后将每个类别保存到单独的目录中,这是ImageDataGenerator所要求的。

这样做的至少有三个充分的理由:

  • 通常,您将运行数十次训练过程。您不希望每次都进行重新调整尺寸或例如自动白平衡。
  • ImageDataGenerator提供了增强您的训练数据集的重要方法。
  • 它是一个开箱即用的好生成器。您可能不希望将整个数据集加载到内存中。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注