我在NHTS 2017数据集中对变量进行多项式逻辑回归。根据文档，sklearn.linear_model.LogisticRegression使用交叉熵损失（对数损失）作为优化模型的损失函数。然而，当我添加新特征并拟合模型时，损失似乎并不是单调递减的。具体来说，如果我将家庭驾驶员数量拟合到车辆拥有情况上（驾驶员数量是预测车辆拥有情况的最重要变量），我得到的损失比我无差别地拟合所有变量时要小。

这可能是因为sklearn.metrics.log_loss的计算方式与LogisticRegression的实际损失函数不同。也可能是问题变得非常非凸，以至于找到的解很差。谁能帮助解释为什么我的损失会随着添加特征而增加？

回答：

可能有多个原因，但我的猜测如下：

• penalty – 默认情况下，逻辑回归使用l2惩罚来防止过拟合。在这种情况下，损失函数是交叉熵损失加上权重的l2范数。因此，更多的特征并不能保证交叉熵本身会减少。

顺便说一下，看起来你的目标是在训练集上获得最高分数（最低损失）。我不会对此提出异议，但也许你应该考虑一下测试/验证集。