逻辑回归的成本函数是

cost(h(theta)X,Y) = -log(h(theta)X) or -log(1-h(theta)X)

我的问题是，为什么成本函数中使用了对数表达式？它从何而来？我认为不能无中生有地使用”-log”。如果有人能解释成本函数的推导，我将不胜感激。谢谢你。

回答：

来源：我在Coursera上学习斯坦福大学的机器学习课程时所做的笔记，由Andrew Ng讲授。所有功劳归于他和该组织。该课程对任何人免费开放，可以按自己的节奏学习。图片是我使用LaTeX（公式）和R（图形）制作的。

假设函数

当想要预测的变量y只能取离散值时（即：分类），使用逻辑回归。

考虑一个二元分类问题（y只能取两个值），那么有一组参数θ和一组输入特征x，假设函数可以定义为在[0, 1]之间，其中g()表示Sigmoid函数：

这个假设函数同时代表了在输入x上，参数化θ的y = 1的估计概率：

成本函数

成本函数代表优化目标。

虽然成本函数的一个可能定义是训练集中所有m个样本中假设h_θ(x)与实际值y之间欧几里得距离的平均值，但只要假设函数是由Sigmoid函数构成的，这种定义会导致非凸成本函数，这意味着在达到全局最小值之前很容易找到局部最小值。为了确保成本函数是凸的（从而确保收敛到全局最小值），成本函数使用Sigmoid函数的对数进行转换。

这样，优化目标函数可以定义为训练集中成本/误差的平均值：