我有一些数据,其中输入和输出值都已经标准化,因此Y和Y_pred之间的差异总是非常小。
我觉得L2范数对模型的惩罚会比L1范数轻,因为将一个介于0和1之间的数进行平方后得到的结果总是较小的数。
那么我的问题是,当输入和输出都标准化时,使用L2范数是否可以?
回答:
这无关紧要。
基本的理念/动机在于如何惩罚偏差。L1范数对异常值不太在意,而L2范数则会对这些值进行重罚。这是两者的基本区别,你会在很多地方找到它们的优缺点,甚至在维基百科上也有。
所以关于你的问题,当预期的偏差很小时是否合理:当然,它的表现是一样的。
让我们举个例子:
y_real 1.0 ||| y_pred 0.8 ||| y_pred 0.6 l1: |0.2| = 0.2 |0.4| = 0.4 => 2x times more error!l2: 0.2^2 = 0.04 0.4^2 = 0.16 => 4x times more error!
你看,基本的理念仍然适用!