要找到超平面,我们必须通过拉格朗日乘数解决优化问题。我读过许多教程,它们都说支持向量是唯一具有非零拉格朗日乘数的向量。
我想了解这是为什么,还是我们只是假设的?
回答:
这是因为从数学角度来看,超平面可以表示为(在线性情况下):
w = SUM_i^N y_i alpha_i x_i
因此,如果一些拉格朗日乘数(alpha_i
)为零,它们对应的向量(x_i
)对超平面完全没有影响,因为乘以零会使该向量从计算中消失。在核函数的情况下也是如此
<w, x> = SUM_i^N y_i alpha_i K(x_i, x)
对于拉格朗日乘数为零的情况,对应向量的核函数值无关紧要(同样 – 乘以零会删除此元素)。
因此,我们称这些用于表达超平面的向量为支持向量,因为它们是唯一真正支持超平面的向量,其余的向量在计算中被忽略。