考虑带有成本函数的线性回归模型：
这里我们有 = 模型的权重
我们添加正则化参数来避免数据过拟合。正则化项通过根据模型的权重对模型进行惩罚，来鼓励使用较小的权重而不是较大的权重。问题是：
-
为什么 通过添加正则化参数来保持模型权重较低，可以减少方差，即让模型更好地适应未见过的/测试数据？
-
另外，减少方差是如何增加偏差的？
回答：
如果你查看《统计学习基础》（Elements of Statistical Learning）第7章（可在此免费在线阅读：https://web.stanford.edu/~hastie/Papers/ESLII.pdf），你会在第223页看到期望损失E[(w^Tx – y)^2]可以分解为三部分：一个不可减少的误差项，一个平方偏差项，和一个方差项。正如该章节所述，增加有效参数的数量p会增加方差并减少偏差。该章节还描述了如何通过增加正则化强度来减少有效参数的数量，有效参数的数量被定义为帽矩阵的迹。
