我正在尝试创建一个简单的两层神经网络，但在更新第一层权重时遇到了困难。我认为我对w2的第一次更新是正确的，因为这是我从反向传播算法中学到的。目前我还没有加入偏置项。但我卡在了如何更新第一层权重的问题上。

import numpy as np
np.random.seed(10)
def sigmoid(x):
    return 1.0/(1+ np.exp(-x))
def sigmoid_derivative(x):
    return x * (1.0 - x)
def cost_function(output, y):
    return (output - y) ** 2
x = 2
y = 4
w1 = np.random.rand()
w2 = np.random.rand()
h = sigmoid(w1 * x)
o = sigmoid(h * w2)
cost_function_output = cost_function(o, y)
prev_w2 = w2
w2 -= 0.5 * 2 * cost_function_output * h * sigmoid_derivative(o) # 0.5 作为学习率
w1 -= 0 # 应该如何更新这个值？
print(cost_function_output)

回答：

我无法在你的问题下评论，所以在这里写。首先，你的sigmoid_derivative函数是错误的。sigmoid(x*y)关于x的导数是sigmoid(x*y)*(1-sigmoid(x*y))*y。

编辑：（删除了不必要的文本）

我们需要dW1和dW2（分别是dJ/dW1和dJ/dW2的偏导数）。

J = (o - y)^2 因此 dJ/do = 2*(o - y)

现在，dW2

dJ/dW2 = dJ/do * do/dW2 (链式法则)
dJ/dW2 = (2*(o - y)) * (o*(1 - o)*h)
dW2 (等于上面的方程)
W2 -= learning_rate*dW2

现在，dW1

dJ/dh = dJ/do * do/dh = (2*(o - y)) * (o*(1 - o)*W2)
dJ/dW1 = dJ/dh * dh/dW1 = ((2*(o - y)) * (o*(1 - o)*W2)) * (h*(1- h)*x)
dW1 (等于上面的方程)
W1 -= learning_rate*dW2

附注：尝试制作计算图，找到导数会变得容易得多。（如果你不知道这个，可以在网上阅读相关内容）