如果我们不对成本函数的误差进行平方会发生什么？

例如，在逻辑回归中我们对成本函数进行平方。

回答：

我对逻辑回归不是很熟悉，因为我更多是研究深度学习的，但我会尝试回答你的问题。首先，我们需要明确一些事情。你说的成本函数是哪一种？你在使用它来解决哪个机器学习模型？在机器学习的每个领域中，根据问题不同，有很多适合的误差函数，它们可以是平方的，也可以不是平方的。

你提到了在逻辑回归中平方数值… 但使用平方和的优缺点与使用最大似然估计模型的优缺点相比，已在此处讨论。举另一个主题的例子，神经网络成本函数中有平方数值的（如均方误差），也有不平方数值的（如交叉熵）。无论如何，有些共同的主题描述了在成本函数中何时适合对数值进行平方。作为一个（非常）一般的规则，当你的变量是连续的且有一个可定义的距离度量时，你想对它们进行平方。

假设我想预测数轴上的点。如果我预测的值是y_predicted，并将其与y_true进行比较，那么我就能准确知道在那个一维距离上我有多远。这是一个连续的误差度量，这意味着我不想通过离散化它而丢失信息。此外，加入一个平方意味着我可以避免处理在求和时可能相互抵消的正负值。最后，平方数值强调了异常值，而稍微忽略了较小的误差，这在某些情况下可能是有帮助的。简而言之，这取决于你问题的范围。希望有一个更简单的解决方案，但事情就是这样。