我正在尝试进行一个多类分类问题（包含3个标签），使用softmax回归。

这是我第一次粗略实现的梯度下降和反向传播（没有使用正则化和任何高级优化算法），仅包含一层。

另外，当学习率较大（>0.003）时，成本会变成NaN，降低学习率后，成本函数正常工作。能有人解释一下我做错了什么吗？

# X是(13,177)维的# y是(3,177)维的，标签为0/1m = X.shape[1]                                        # 177W = np.random.randn(3,X.shape[0])*0.01                # (3,13)b = 0cost = 0alpha = 0.0001                                        # 对我来说似乎太小了，但对于更大的值，成本会变成NaNfor i in range(100):    Z = np.dot(W,X) + b    t = np.exp(Z)    add = np.sum(t,axis=0)    A = t/add    loss = -np.multiply(y,np.log(A))    cost += np.sum(loss)/m    print('cost after iteration',i+1,'is',cost)    dZ = A-y    dW = np.dot(dZ,X.T)/m    db = np.sum(dZ)/m    W = W - alpha*dW    b = b - alpha*db

这是我得到的结果：

cost after iteration 1 is 6.661713420377916cost after iteration 2 is 23.58974203186562cost after iteration 3 is 52.75811642877174............................................................................*upto 100 iterations*..............................................................................cost after iteration 99 is 1413.555298639879cost after iteration 100 is 1429.6533630169406

回答：

经过一段时间后，我终于弄明白了。

首先，成本增加的原因是这个：cost += np.sum(loss)/m
这里不需要加号，因为它会将之前在每个epoch计算的所有成本加起来，这不是我们想要的。这种实现通常在小批量梯度下降中用于计算每个epoch的成本。

其次，学习率对于这个问题来说太大了，这就是为什么成本会超过最小值并变成NaN。
我检查了我的代码，发现我的特征范围非常不同（一个是从-1到1，另一个是从-5000到5000），这限制了我的算法使用更大的学习率值。

所以我应用了特征缩放：

var = np.var(X, axis=1)X = X/var

现在学习率可以大得多（<=0.001）。