从许多文档中，我了解到Ridge回归的公式是：

loss_Ridge = loss_function + lambda x L2 norm of slope

而Lasso回归的公式是：

loss_Lasso = loss_function + lambda x L1 norm of slope

当我在《TensorFlow机器学习食谱》中阅读“实现Lasso和Ridge回归”这个主题时，作者解释说：

“…我们将使用一种连续近似阶跃函数的方法，称为连续重阶跃函数…”

作者还提供了这里的代码行。我不理解在这种情况下被称为’连续重阶跃函数‘的是什么。请帮助我。

回答：

从你提供的链接来看，

if regression_type == 'LASSO':    # 声明Lasso损失函数    # Lasso损失 = L2_Loss + heavyside_step,    # 其中heavyside_step ~ 0 如果A < 常数，否则 ~ 99    lasso_param = tf.constant(0.9)    heavyside_step = tf.truediv(1., tf.add(1., tf.exp(tf.multiply(-50., tf.subtract(A, lasso_param)))))    regularization_param = tf.multiply(heavyside_step, 99.)loss = tf.add(tf.reduce_mean(tf.square(y_target - model_output)), regularization_param)

这个heavyside_step函数非常接近于一个逻辑函数，而逻辑函数反过来可以作为阶跃函数的连续近似。

你使用连续近似是因为损失函数需要相对于模型的参数是可微的。

要了解更多，可以阅读https://www.cs.ubc.ca/~schmidtm/Documents/2005_Notes_Lasso.pdf中的第1.6节关于约束公式的部分。

你可以看到，在你的代码中，如果A < 0.9，那么regularization_param将消失，因此优化将约束A在这个范围内。