在最小二乘模型中，成本函数被定义为预测值与实际值之间差异的平方，作为输入的函数。
当我们进行逻辑回归时，我们将成本函数改为对数函数，而不是将其定义为S形函数（输出值）与实际输出之间的差异的平方。
我们可以更改并定义自己的成本函数来确定参数吗？
回答：
是的，你可以定义自己的损失函数，但如果你是个新手，最好还是使用文献中的一个。损失函数应该满足以下条件：
-
它们应该近似你试图最小化的实际损失。正如另一个回答中所说，分类标准损失函数是零一损失（误分类率），用于训练分类器的损失函数是对该损失的近似。
线性回归中的平方误差损失不被使用，因为它不能很好地近似零一损失：当你的模型对某个样本预测为+50，而预期答案是+1（正类）时，预测在决策边界的正确一侧，因此零一损失为零，但平方误差损失仍然是49² = 2401。一些训练算法会浪费大量时间使预测非常接近{-1, +1}，而不是专注于正确预测符号/类别标签。(*)
-
损失函数应该与你打算使用的优化算法兼容。这就是为什么零一损失不直接使用的原因：它不适用于基于梯度的优化方法，因为它没有定义良好的梯度（甚至没有像SVM的铰链损失那样的次梯度）。
直接优化零一损失的主要算法是旧的感知器算法。
此外，当你使用自定义损失函数时，你不再是在构建逻辑回归模型，而是在构建某种其他类型的线性分类器。
(*) 平方误差确实用于线性判别分析，但那通常是以闭合形式解决的，而不是迭代解决的。
