我正在尝试实现一个带有单隐藏层的 neural network 来分类两个训练样本。这个网络使用 sigmoid 激活函数。

层的维度和权重如下：

X : 2X4w1 : 2X3l1 : 4X3w2 : 2X4Y : 2X3

我在反向传播中遇到了一个问题，矩阵维度不正确。以下代码：

import numpy as npM = 2learning_rate = 0.0001X_train = np.asarray([[1,1,1,1] , [0,0,0,0]])Y_train = np.asarray([[1,1,1] , [0,0,0]])X_trainT = X_train.TY_trainT = Y_train.TA2_sig = 0;A1_sig = 0;def sigmoid(z):    s = 1 / (1 + np.exp(-z))      return sdef forwardProp() :     global A2_sig, A1_sig;    w1=np.random.uniform(low=-1, high=1, size=(2, 2))    b1=np.random.uniform(low=1, high=1, size=(2, 1))    w1 = np.concatenate((w1 , b1) , axis=1)    A1_dot = np.dot(X_trainT , w1)    A1_sig = sigmoid(A1_dot).T    w2=np.random.uniform(low=-1, high=1, size=(4, 1))    b2=np.random.uniform(low=1, high=1, size=(4, 1))    w2 = np.concatenate((w2 , b2) , axis=1)    A2_dot = np.dot(A1_sig, w2)    A2_sig = sigmoid(A2_dot)def backProp() :     global A2_sig;    global A1_sig;    error1 = np.dot((A2_sig - Y_trainT).T, A1_sig / M)    print(A1_sig)    print(error1)    error2 = A1_sig.T - error1forwardProp()backProp()

返回错误：

ValueError                                Traceback (most recent call last)<ipython-input-605-5aa61e60051c> in <module>()     45      46 forwardProp()---> 47 backProp()     48      49 # dw2 = np.dot((Y_trainT - A2_sig))<ipython-input-605-5aa61e60051c> in backProp()     42     print(A1_sig)     43     print(error1)---> 44     error2 = A1_sig.T - error1     45      46 forwardProp()ValueError: operands could not be broadcast together with shapes (4,3) (2,4) 

如何计算上一层的误差？

更新：

返回错误：

ValueError                                Traceback (most recent call last)<ipython-input-664-25e99255981f> in <module>()     47      48 print(forwardProp())---> 49 print(backProp())<ipython-input-664-25e99255981f> in backProp()     42      43     error1 = np.dot((A2_sig - Y_trainT.T).T , A1_sig / M)---> 44     error2 = error1.T - A1_sig     45      46     return(error1)ValueError: operands could not be broadcast together with shapes (2,3) (2,2) 

是否错误设置了矩阵维度？

回答：

代码审查

我已经检查了你最新的版本，并发现了以下错误：

• (小问题) 在前向传递中，A1_sig 从未被使用过，可能是打字错误。

• (重大问题) 在反向传递中，我不确定你打算使用什么作为损失函数。从代码来看，看起来是 L2 损失：

  error1 = np.dot((A2_sig - Y_trainT.T).T , A1_sig / M)

  关键表达式是这个：A2_sig - Y_trainT.T（虽然可能是我没理解你的想法）。

  然而，你提到你在做多标签分类，很可能是有限二元分类。在这种情况下，L2 损失是一个糟糕的选择（如果你有兴趣了解原因，请查看这个帖子）。相反，应该使用逻辑回归损失，也称为交叉熵。在你的情况下，是二元的。

• (关键问题) 在反向传递中，你跳过了 sigmoid 层。以下行将损失误差传递到线性层：

  error1 = np.dot((A2_sig - Y_trainT.T).T , A1_sig / M)

  … 而前向传递在线性层之后通过 sigmoid 激活函数（这是正确的）。此时，error1 没有任何意义，其维度也不重要。

解决方案

我不喜欢你的变量命名，很容易混淆。所以我改了名字并重新组织了代码。这里是收敛的 NN：