一个相当简单的问题:sklearn的log_loss度量中的参数”normalize”有什么作用?
根据文档:”normalize : bool, 可选(默认=True)如果为真,返回每个样本的平均损失。否则,返回所有样本损失的总和。” 我的理解是,这与是否包含N有关,True表示平均值,False表示总和:logloss = -1/N(每个案例损失的总和)log损失函数
如果是这样,优化其中一个与另一个没有区别,那么,为什么我们更喜欢一个而不是另一个呢?换句话说,设置这个参数的目的是什么?个人偏好吗?
回答:
虽然最小化f(x)和1/N f(x)是等价的,但在处理f(x) + alpha g(x)和1/N f(x) + alpha g(x)形式的函数时,常数的意义会发生变化,这在学习正则化逻辑回归时会发生,因此在第二种情况下,等效的alpha是1/N * 之前的alpha。这里没有“一种选择”,它完全取决于应用 – 有时平均值更适合(当你需要对样本大小不变时),有时是总和。