在大多数分类任务中(例如逻辑回归/线性回归),正则化时通常会忽略偏置项。如果我们不对偏置项进行正则化,是否能得到更好的分类结果?
回答:
示例:
Y = aX + b
正则化的基本思想是,Y
的过拟合是由a
过于“具体”引起的,通常表现为a
的元素值过大。
b
只是调整关系的偏移量,因此其规模对这个问题来说远没有那么重要。此外,如果出于某种原因需要一个大的偏移量,对其进行正则化会妨碍找到正确的关联性。
因此,答案在于:在Y = aX + b
中,a
与解释变量/自变量相乘,b
则被加到结果上。