使用线性回归时必须在成本函数中添加L2正则化吗？

我在计算成本时没有添加L2正则化或考虑它。这样做不对吗？

下面的代码片段应该足够了：

def gradient(self, X, Y, alpha, minibatch_size):    predictions = None    for batch in self.iterate_minibatches(X, Y, minibatch_size, shuffle=True):        x, y = batch        predictions = x.dot(self.theta)        for it in range(self.theta.size):            temp = x[:, it]            temp.shape = (y.size, 1)            errors_x1 = (predictions - y) * temp            self.theta[it] = self.theta[it] - alpha * (1.0 / y.size) * errors_x1.sum() + self.lambda_l2 * self.theta[it] * self.theta[it].T    print self.cost(X, Y, self.theta)def cost(self, X, Y, theta, store=True):    predictions = X.dot(theta)    from sklearn.metrics import mean_squared_error    cost = mean_squared_error(Y, predictions, sample_weight=None, multioutput='uniform_average')    if store is True:        self.cost_history.append(cost)    return cost

回答：

在你的线性回归实现中，不需要添加L2（或L1）正则化。

然而，在成本函数中添加L2正则化项相较于没有正则化项的线性回归有优势。最重要的是，正则化项有助于减少模型过拟合，并提高模型的泛化能力。带有L2正则化的线性回归通常被称为“岭回归”。

除了岭回归，带有L1正则化的线性回归被称为套索回归。如果你使用套索回归构建回归模型，你的模型将是稀疏模型。因此，套索回归也可以用于特征选择。

祝你好运！