如何计算线性回归中的正则化参数

当我们使用高次线性多项式来拟合一组点时,为了防止过拟合,我们会使用正则化,并在成本函数中加入一个lambda参数。这个lambda参数随后用于在梯度下降算法中更新theta参数。

我的问题是,我们如何计算这个lambda正则化参数?


回答:

正则化参数(lambda)是模型的输入,因此您可能想知道如何选择lambda的值。正则化参数可以减少过拟合,从而降低估计回归参数的方差;然而,这是在增加估计偏差的代价下实现的。增加lambda会减少过拟合,但也会增加偏差。所以真正的疑问是“您愿意在估计中容忍多少偏差?”

您可以采取的一种方法是多次随机抽样您的数据库,并观察估计值的变化。然后对稍微增大的lambda值重复这一过程,看看它如何影响估计值的变异性。请记住,无论您为抽样数据选择的lambda值是多少,您可能可以使用一个较小的值来在完整数据集上实现类似的正则化效果。

Related Posts

Keras Dense层输入未被展平

这是我的测试代码: from keras import…

无法将分类变量输入随机森林

我有10个分类变量和3个数值变量。我在分割后直接将它们…

如何在Keras中对每个输出应用Sigmoid函数?

这是我代码的一部分。 model = Sequenti…

如何选择类概率的最佳阈值?

我的神经网络输出是一个用于多标签分类的预测类概率表: …

在Keras中使用深度学习得到不同的结果

我按照一个教程使用Keras中的深度神经网络进行文本分…

‘MatMul’操作的输入’b’类型为float32,与参数’a’的类型float64不匹配

我写了一个简单的TensorFlow代码,但不断遇到T…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注