我在学习TensorFlow时，遇到了一些关于如何正则化损失函数的问题。我查看了很多资料，发现了很多不同的答案。能有人告诉我如何正则化损失函数吗？

我在Coursera上参加了Andrew Ng的机器学习课程，但在查看论坛时发现有一点似乎有所不同。看起来大多数人不仅正则化最终的损失函数，还对每个权重进行正则化，而在课程中并没有提到这一点。哪一种方法是正确的？

回答：

在TensorFlow中，L2（Tikhonov）正则化与正则化参数lambda_可以这样编写：

# 假设你已经定义了一个图，占位符和logits层。
# 使用交叉熵损失：
lambda_ = 0.1
xentropy = tf.nn.softmax_cross_entropy_with_logits_v2(labels=y, logits=logits)
ys = tf.reduce_mean(xentropy)
l2_norms = [tf.nn.l2_loss(v) for v in tf.trainable_variables()]
l2_norm = tf.reduce_sum(l2_norms)
cost = ys + lambda_*l2_norm
# 从这里开始，定义优化器，训练操作并进行训练... :-)