我想知道是否需要在使用TensorFlow时始终应用正则化。

def regularize(cost, theta, beta):    return beta * tf.nn.l2_loss(theta)

我知道正则化用于避免过拟合，但我问题是是否应该始终使用它。我在Kaggle的泰坦尼克号竞赛中使用了正则化，但没有正则化时我的得分并没有提高。因此，我应该养成习惯始终对成本函数进行正则化，还是仅在特定情况下使用它？

回答：

一般来说，如何处理特定问题没有“绝对真理”。使用损失函数（包括正则化器）是一个广阔的领域，并且这个问题在Stackoverflow上也被多次提问过。

编辑：还可以考虑查看DataScience stackexchange上的答案，这些答案可能更适合这类问题。

在你的情况下，正则化——特别是L2正则化——可以用来保持网络中的权重较小，或者换句话说，更严厉地惩罚异常值，因为它们在泛化方面可能会给你带来很大的成本。

现在，如果我们以图像着色任务为例，正则化可能会恰恰与我们想要的相反！更具体地说，任何好的着色都应该有强烈且清晰的对比度，以及饱和的颜色值。
另一方面，如果这些强烈的颜色值被正则化的损失函数抑制，你的大多数结果图像看起来会非常暗，因为实际上不允许出现强烈的颜色。因此，最好不使用正则化器。

当然，还有更多例子，正则化在某些情况下仍然有意义。我的判断不仅基于性能，还要考虑它在数学上做了什么，来判断它在你的例子中是否有意义。
通常，你会调查你的数据集在异常值、方差等方面的表现，以确定是否有必要有效利用所有样本（不使用正则化），还是应该惩罚那些少数重大的异常值。