使用Pytorch训练和测试模型的方法是否正确?

我正在尝试使用Pytorch实现一个二分类的神经网络来训练模型,如下所示:

model = nn.Sequential(    bnn.BayesLinear(prior_mu=0, prior_sigma=0.1, in_features=196, out_features=300),    nn.ReLU(),    bnn.BayesLinear(prior_mu=0, prior_sigma=0.1, in_features=300, out_features=196),)cross_entropy_loss = nn.CrossEntropyLoss()klloss = bnn.BKLLoss(reduction='mean', last_layer_only=False)klweight = 0.01optimizer = optim.Adam(model.parameters(), lr=0.01)

训练部分:

 #training    for step in range(200):        models = model(data_tensor)        cross_entropy = cross_entropy_loss(models, target_tensor)        #cross_entropy = 0        kl = klloss(model)        total_cost = cross_entropy + klweight*kl            optimizer.zero_grad()        total_cost.backward()        optimizer.step()          _, predicted = torch.max(models.data, 1)    final = target_tensor.size(0)    correct = (predicted == target_tensor).sum()    print('- Accuracy: %f %%' % (100 * float(correct) / final))    print('- CE : %2.2f, KL : %2.2f' % (cross_entropy.item(), kl.item()))

问题1: 这种训练模型的方法是否正确?我在很多文章中发现,通常会有一个遍历训练数据的DataLoader的部分,比如:

for i, data in enumerate(trainloader, 0): # Get inputs inputs, targets = data

问题2: 如果我可以直接将数据特征(输入)作为data_tensor,数据标签(目标)作为target_tensor,为什么还要使用这个循环?因为遍历数据加载器会花费更多时间。

我不确定如何测试我的模型。我按照下面的方法做了:

correct = 0total = 0with torch.no_grad():    for step in range(data_tensor_test.size(0)):        models = model(data_tensor_test)        _, predicted = torch.max(models.data, 1)        total += target_tensor_test.size(0)        correct += (predicted == target_tensor_test).sum().item()print('Accuracy of the test data: %d %%' % (    100 * correct / total))

问题3: 我上面训练的模型,这种测试方法是否正确?


回答:

我将尝试回答你的问题:

问题1和2:这种训练模型的方法是否正确?我在很多文章中发现,通常会有一个遍历训练数据的DataLoader的部分。

在Pytorch中训练时,你应该使用带有数据加载器的数据集,原因如下:

  1. 它允许我们随机抽样数据
  2. 它不会预加载数据到内存中,这对于庞大的数据集特别有用
  3. 它在代码的后台运行,因此可以并行获取数据,从而节省时间
  4. 它在数据批处理方面非常高效

你这里似乎是在一次处理所有数据元素。如果你的数据只有32个点,这可能还行(尽管由于数据量有限,这并不是最优的),但是在运行优化器和为模型提供学习机会之间需要找到一个平衡点。

我猜测这样做耗时更长是因为你的模型非常小,可能获取数据的时间比数据已经预加载到内存中的时间更长。没有知道你的数据集大小和处理批次大小的情况下,很难回答这个问题。

问题3: 我上面训练的模型,这种测试方法是否正确?在运行任何推理代码之前,你需要将模型设置为评估阶段,使用model.eval()。我也不明白你为什么要使用for循环,因为你每次只是通过相同的数据。我通常会运行类似这样的代码:

correct = 0total = 0with torch.no_grad():    model.eval()    for step,(dat,lab) in enumerate(dataloader_test):        models = model(dat)        _, predicted = torch.max(models.data, 1)        total += dat.size(0)        correct += (predicted == lab).sum().item()print('Accuracy of the test data: %d %%' % (    100 * correct / total))

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注