谁能向我证明为什么上述句子是错误的?我感觉由于都是线性单元,我总是可以写出W(线性) = Y,对于任何W,但老师说这是错误的,并引用了一位学生的话说:
该浅层网络的输出y是y=sum(v)* sum(wTx +b),因此我们在输出中看到了权重v和w的乘积。因此,输出相对于权重是非线性的
谁能更精确/分析一些吗?
回答:
考虑以下神经网络:
x1 -- h1 \/ \ y /\ /x2 -- h2
对应以下方程:
h1 = w11 x1 + w12 x2h2 = w21 x1 + w22 x2y = v1 h1 + v2 h2
这里的权重是 w11, w12, w21, w22, v1, v2
。
结合这三个方程,我们得到:
y = v1 w11 x1 + v1 w12 x2 + v2 w21 x1 + v2 w22 x2
因此我们可以说 y
是 (w11, w12, w21, w22) 和 (v1, v2)
的双线性函数,但我们不能说 y
是 (w11, w12, w21, w22, v1, v2)
的线性函数。