根据我对这篇文章的理解,蓝色圆圈是等高线,蓝色点是最小化成本函数的最优解。黄色圆圈是L2范数约束。
我们需要的解是尽可能最小化成本函数,并且同时在圆圈内。也就是说,解是黄色圆圈与等高线的切点。
但是,我的疑问是,如果切点处的W值并未完全最小化成本函数,为什么这可以被视为解呢?只有蓝色点才是最小化成本函数的点。
回答:
在没有约束的情况下,蓝色点是最小化成本函数的。如果最小化受到L2范数的约束,那么蓝色点不能作为解,因为它违反了约束。因此,w*点才是解。
使用L2约束的原因是,我们试图最小化测试数据上的误差,而不是训练数据上的误差(即我们并不是直接关注最小化损失函数)。更简单的解(具有较小的L2范数)往往过拟合较少,因此我们期望测试误差与训练误差之间的差距较小(这是我们所期望的)。