切点处的解是否是最优解?

根据我对这篇文章的理解,蓝色圆圈是等高线,蓝色点是最小化成本函数的最优解。黄色圆圈是L2范数约束。

我们需要的解是尽可能最小化成本函数,并且同时在圆圈内。也就是说,解是黄色圆圈与等高线的切点。

但是,我的疑问是,如果切点处的W值并未完全最小化成本函数,为什么这可以被视为解呢?只有蓝色点才是最小化成本函数的点。

enter image description here


回答:

在没有约束的情况下,蓝色点是最小化成本函数的。如果最小化受到L2范数的约束,那么蓝色点不能作为解,因为它违反了约束。因此,w*点才是解。

使用L2约束的原因是,我们试图最小化测试数据上的误差,而不是训练数据上的误差(即我们并不是直接关注最小化损失函数)。更简单的解(具有较小的L2范数)往往过拟合较少,因此我们期望测试误差与训练误差之间的差距较小(这是我们所期望的)。

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注