在线性回归中使用正则化常数’Lambda’的值是否有范围限制？[机器学习问题]

当Lambda值为100时，我的数据拟合得很好。这在“实际”中是否可以接受？

我认为理论上，任何Lambda值都是可以的，但实际使用中呢？

[解决家庭作业问题时需要的小澄清。]

回答：

我认为Lambda的实际值没有限制。你应该选择最适合你问题的值并坚持使用。例如，如果你有太多特征而数据太少，模型就会倾向于过拟合，你需要用更大的Lambda来对抗（更好的做法是获取更多数据或删除一些特征）。另一方面，如果你有大量数据而特征相对较少，过拟合不会是那么大的问题，Lambda可以更小。

选择Lambda的一种方法是用一系列的Lambda值[A .. B]（其中A>0，B>A）来训练你的模型，然后在交叉验证集上绘制成本函数。曲线将接近凸形，Lambda对应于全局最小值的那个将是最优的。

如需更完整的解释，请观看此讲座：https://class.coursera.org/ml/lecture/preview/63