在PyTorch中出现’None’梯度

我正在尝试实现一个简单的MDN模型,该模型预测目标变量分布的参数而不是点值,然后为点值的离散区间分配概率。在缩小问题范围后,导致’None’出现的代码如下:

import torch# paramstte_bins = np.linspace(    start=0,     stop=399,     num=400,     dtype='float32').reshape(1, 1, -1)bins = torch.tensor(tte_bins, dtype=torch.float32)x_train = np.random.randn(1, 1024, 3)y_labels = np.random.randint(low=0, high=399, size=(1, 1024))y_train = np.eye(400)[y_labels]# datain_train = torch.tensor(x_train[0:1, :, :], dtype=torch.float)in_train = (in_train - torch.mean(in_train)) / torch.std(in_train)out_train = torch.tensor(y_train[0:1, :, :], dtype=torch.float)# modellinear = torch.nn.Linear(in_features=3, out_features=2)lin = linear(in_train)preds = torch.exp(lin)# intermediate valuesalpha = torch.clamp(preds[0:1, :, 0:1], 0, 500)beta = torch.clamp(preds[0:1, :, 1:2], 0, 100)# probsp1 = torch.exp(-torch.pow(bins / alpha, beta))p2 = torch.exp(-torch.pow((bins + 1.0) / alpha, beta))probs = p1 - p2# lossloss = torch.mean(torch.pow(out_train - probs, 2))# gradientsloss.backward()for p in linear.parameters():    print(p.grad, 'gradient')

in_train的形状为:[1, 1024, 3],out_train的形状为:[1, 1024, 400],bins的形状为:[1, 1, 400]。所有的广播操作等看起来都没有问题,结果矩阵(如alpha/beta/loss)的形状和值都是正确的——只是没有梯度。

编辑:添加了loss.backward()x_train/y_train,现在我得到了nans


回答:

你只是忘记了计算梯度。虽然你计算了损失,但你从未告诉pytorch它应该相对于哪个函数计算梯度。

只需在你的代码中添加

loss.backward()

就可以解决这个问题。

此外,在你的代码中,一些中间结果如alpha有时为零,但在计算梯度时却在分母中。这将导致你观察到的nan结果。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注