我在使用Google的Colab训练一个深度学习模型，用于对NIH的Chest Xray-14数据集进行多标签疾病分类。由于有大约112k个训练样本和有限的RAM，我无法一次性将所有图像加载到DataLoader中。

是否有一种方法可以仅在PyTorch的DataLoader中存储图像路径，仅在训练的当前迭代中读取所需的图像，一旦迭代完成，就将图像从内存中卸载，依此类推，直到完成一个epoch？

回答：

是的，ImageFolder的默认行为是创建一个图像路径列表，仅在需要时加载实际图像。它不支持多类标签。然而，您可以编写自己的Dataset来支持多标签，参考ImageFolder类了解详情。

在__init__方法中，您构建一个图像路径列表和相应的标签列表。图像应仅在调用__getitem__时加载。下面是一个这样的数据集类的示例，具体细节将取决于您的文件组织、图像类型和标签格式。

class CustomDataset(torch.utils.data.Dataset):    def __init__(self, args):        """ 构建图像路径和标签的索引列表 """    def __getitem__(self, n):        """ 加载图像路径列表中的第n个图像，并返回它及其标签。            对于多类标签，标签可能是值的列表"""    def __len__(self):        """ 返回此数据集中的图像总数 """

一旦您创建了一个有效的数据集实例，就应该创建一个DataLoader实例，并将您的数据集作为参数提供。DataLoader负责对其数据集进行采样，即调用您编写的__getitem__方法，并将单个样本放入小批量中。它还处理并行加载并定义索引的采样方式。DataLoader本身不会存储超过所需的数据。它在任何时间应持有的最大样本数为batch_size * num_workers（如果num_workers == 0，则为batch_size）。