我有一个非常简单的问题。当我们使用梯度下降法并加入$L_1$和（或）$L_2$类型的正则化项时，即将损失函数$L$扩展为

$$L_r=L+l_1 \sum_i| \pi_i |+l_2 \sum_j ||\pi_j||^2$$

为什么我们在梯度下降的更新规则中不包括$l_1$和$l_2$变量？

回答：

这是超参数，你不能同时更新权重和这个参数。如果你试图与权重同时优化它，针对训练集和（或）测试集的损失函数进行优化，那么这个参数将会变为0，并且会使惩罚部分失效。因为当你训练复杂模型时，它很容易过拟合你的数据集，并完美地预测值，在这种情况下，优化过程为了最小化损失所能做的最好的事情，就是当模型完美标记数据集时，将这个参数归零。因此，原本设计用来防止过拟合的参数将不会起到任何有用的作用。

但是你可以进行网格搜索