我是神经网络的新手，正在学习感知器。我的问题是，为什么权重向量与决策边界（超平面）垂直？我查阅了许多书籍，它们都提到权重向量与决策边界垂直，但没有解释为什么？

有谁能给我一个解释或推荐一本书吗？

回答：

权重只是定义分离平面的系数。暂时忘记神经元，只考虑N维空间中平面的几何定义：

w1*x1 + w2*x2 + ... + wN*xN - w0 = 0

你也可以将其视为点积：

w*x - w0 = 0

其中w和x都是长度为N的向量。这个方程对平面上所有点都成立。请记住，我们可以将上述方程乘以一个常数，它仍然成立，因此我们可以定义常数，使向量w具有单位长度。现在，拿出一张纸，画出你的x-y轴（上述方程中的x1和x2）。接下来，在原点附近画一条线（在2D中是一个平面）。w0只是原点到平面的垂直距离，而w是沿着该垂直线从原点指向的单位向量。如果你现在从原点画一条向量到平面上任何一点，该向量与单位向量w的点积将始终等于w0，所以上述方程成立，对吗？这只是平面的几何定义：一个定义平面垂直的单位向量（w）和从原点到平面的距离（w0）。

现在我们的神经元只是以稍微不同的方式描述上述相同的平面。我们将x的分量称为我们的“输入”，w的分量称为我们的“权重”，我们将距离w0称为偏置。仅此而已。

稍微超出你的实际问题，我们并不真正关心平面上的点。我们真正想知道的是一个点落在平面的哪一边。虽然w*x - w0在平面上正好为零，但在平面的一侧点的值为正，在另一侧点的值为负。这就是神经元的激活函数发挥作用的地方，但这超出了你的实际问题。