就像我们在线性回归中使用正规方程来找到最佳的theta值一样，我们能否在逻辑回归中使用类似的公式？如果不能，为什么？如果有人能解释背后的原因，我将不胜感激。谢谢你。

回答：

很遗憾，分类理论中只有两种方法有闭合形式的解——线性回归和线性判别分析/费舍尔判别分析。

一般来说，即使在线性回归中它“有效”也被认为是一个奇迹。据我所知，几乎不可能证明“无法用闭合形式解决逻辑回归”，但普遍的理解是这永远不会发生。如果你的特征只有二元的，并且特征数量很少（因为解是特征数量的指数级），几年前有人证明过这是可行的，但在一般情况下——被认为是不可能的。

那么为什么它在线性回归中表现得如此好呢？因为一旦你计算出你的导数，你会注意到，结果问题是一组线性方程，m个方程有m个变量，我们知道可以通过矩阵求逆（和其他技术）直接解决。当你对逻辑回归的成本函数求导，结果问题不再是线性的……它是凸的（因此有全局最优），但不是线性的，因此——当前的数学工具不足以在闭合形式的解中找到最优解。

尽管如此，如果所有你的输入变量都是分类变量（它们只能取有限多个可以枚举的值），确实存在（计算上绝对不实用）的闭合形式解：https://www.tandfonline.com/doi/abs/10.1080/02664763.2014.932760?journalCode=cjas20