我正在尝试从jpeg文件加载数据来训练一个卷积网络。这些图像非常大,包含2400万像素,因此加载和使用全分辨率是不切实际的。
为了将图像转换为更实用的格式,我尝试加载每张图像,重新调整其尺寸,然后将其添加到列表中。完成后,我可以将列表转换为numpy数组,并像往常一样输入网络进行训练。
我的问题是我的数据集非常大,每张图像调整尺寸需要大约一秒钟,这意味着以我目前的方式调整每张图像的大小是不可行的:
length_training_DF = 30000for i in range(length_training_DF): im = plt.imread(TRAIN_IM_DIR + trainDF.iloc[i]['image_name'] + '.jpg') image = block_reduce(im, block_size=(10, 10, 1), func=np.max) trainX.append(image)
我还使用了以下方法:
length_training_DF = 30000from keras.preprocessing import imagefor i in range(50): img = image.load_img(TRAIN_IM_DIR + trainDF.iloc[0]['image_name'] + '.jpg', target_size=(224, 224)) trainX.append(ima)
有什么方法可以更快地将这些图像加载成适合训练网络的格式吗?我考虑过使用keras数据集,可能通过使用tf.keras.preprocessing.image_dataset_from_directory(),但存储图像数据的目录没有正确地格式化为包含相同目标的文件夹,这是该方法所要求的。
这些图像用于二分类问题。
回答:
通常的方法是编写一个预处理脚本,加载大图像,重新调整它们的尺寸,如果需要,还可以应用其他操作,然后将每个类别保存到单独的目录中,这是ImageDataGenerator
所要求的。
这样做的至少有三个充分的理由:
- 通常,您将运行数十次训练过程。您不希望每次都进行重新调整尺寸或例如自动白平衡。
ImageDataGenerator
提供了增强您的训练数据集的重要方法。- 它是一个开箱即用的好生成器。您可能不希望将整个数据集加载到内存中。