如何理解scikit-learn逻辑回归代码中的损失函数？

scikit-learn逻辑回归中损失函数的代码如下：

# Logistic loss is the negative of the log of the logistic function.    out = -np.sum(sample_weight * log_logistic(yz)) + .5 * alpha * np.dot(w, w)

然而，这似乎与常见的对数损失函数形式不同，后者为：

-y(log(p)+(1-y)log(1-p))

能否有人告诉我如何理解scikit-learn逻辑回归中损失函数的代码，以及它与对数损失函数的一般形式之间有什么关系？

提前感谢您。

回答：

首先，您应该注意0.5 * alpha * np.dot(w, w)只是一个归一化处理。因此，sklearn的逻辑回归简化为以下形式：

-np.sum(sample_weight * log_logistic(yz))

此外，np.sum的存在是因为它考虑了多个样本，因此它再次简化为：

sample_weight * log_logistic(yz)

最后，如果您阅读这里，您会注意到sample_weight是一个可选的权重数组，分配给各个样本。如果未提供，则每个样本都被赋予单位权重。因此，它应该等于一（就像在交叉熵损失的原始定义中，我们不考虑不同样本的不同权重），因此损失简化为：

- log_logistic(yz)

这相当于

- log_logistic(y * np.dot(X, w))。

现在，为什么它看起来与交叉熵损失函数不同（本质上是相同的），即：

- [y log(p) + (1-y) log(1-p))]。

原因是，我们可以使用两种不同的标签惯例进行二元分类，使用{0, 1}或{-1, 1}，这导致了两种不同的表示形式。但它们是相同的！

更多关于它们为何相同的细节可以在这里找到这里。请注意，您应该阅读Manuel Morales的回答。

学技术