当我们使用高次线性多项式来拟合一组点时,为了防止过拟合,我们会使用正则化,并在成本函数中加入一个lambda参数。这个lambda参数随后用于在梯度下降算法中更新theta参数。
我的问题是,我们如何计算这个lambda正则化参数?
回答:
正则化参数(lambda)是模型的输入,因此您可能想知道如何选择lambda的值。正则化参数可以减少过拟合,从而降低估计回归参数的方差;然而,这是在增加估计偏差的代价下实现的。增加lambda会减少过拟合,但也会增加偏差。所以真正的疑问是“您愿意在估计中容忍多少偏差?”
您可以采取的一种方法是多次随机抽样您的数据库,并观察估计值的变化。然后对稍微增大的lambda值重复这一过程,看看它如何影响估计值的变异性。请记住,无论您为抽样数据选择的lambda值是多少,您可能可以使用一个较小的值来在完整数据集上实现类似的正则化效果。