如何使用PyTorch同时迭代两个数据加载器?

我在尝试实现一个双胞胎网络,该网络需要输入两张图片。我加载这些图片并创建了两个独立的数据加载器。

在我的循环中,我希望同时遍历这两个数据加载器,以便能够用这两张图片训练网络。

for i, data in enumerate(zip(dataloaders1, dataloaders2)):    # 获取输入    inputs1 = data[0][0].cuda(async=True);    labels1 = data[0][1].cuda(async=True);    inputs2 = data[1][0].cuda(async=True);    labels2 = data[1][1].cuda(async=True);    labels1 = labels1.view(batchSize,1)    labels2 = labels2.view(batchSize,1)    # 清零参数梯度    optimizer.zero_grad()    # 前向传播 + 反向传播 + 优化    outputs1 = alexnet(inputs1)    outputs2 = alexnet(inputs2)

数据加载器的返回值是一个元组。然而,当我尝试使用zip来迭代它们时,我得到了以下错误:

OSError: [Errno 24] Too many open filesException NameError: "global name 'FileNotFoundError' is not defined" in <bound method _DataLoaderIter.__del__ of <torch.utils.data.dataloader._DataLoaderIter object at 0x7f2d3c00c190>> ignored                           

zip不应该可以处理所有可迭代的项目吗?但在这里似乎我不能在数据加载器上使用它。

还有其他方法可以实现吗?或者我对双胞胎网络的实现方法有什么误解吗?


回答:

我看到你在努力创建一个正确的数据加载器函数。我会这样做:

class Siamese(Dataset):    def __init__(self, transform=None):           #在这里初始化数据        def __len__(self):        return   #返回数据的长度    def __getitem__(self, idx):        #在这里获取图片和标签         #返回的图片必须是张量        #标签应该是整数         return img1, img2 , label1, label2 

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注