如何计算线性回归中的正则化参数

当我们使用高次线性多项式来拟合一组点时,为了防止过拟合,我们会使用正则化,并在成本函数中加入一个lambda参数。这个lambda参数随后用于在梯度下降算法中更新theta参数。

我的问题是,我们如何计算这个lambda正则化参数?


回答:

正则化参数(lambda)是模型的输入,因此您可能想知道如何选择lambda的值。正则化参数可以减少过拟合,从而降低估计回归参数的方差;然而,这是在增加估计偏差的代价下实现的。增加lambda会减少过拟合,但也会增加偏差。所以真正的疑问是“您愿意在估计中容忍多少偏差?”

您可以采取的一种方法是多次随机抽样您的数据库,并观察估计值的变化。然后对稍微增大的lambda值重复这一过程,看看它如何影响估计值的变异性。请记住,无论您为抽样数据选择的lambda值是多少,您可能可以使用一个较小的值来在完整数据集上实现类似的正则化效果。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注