我正在抽取N个自助样本,并在这些样本上训练N个逻辑回归分类器。每个分类器会给我一个属于二元类别的概率,然后我将这N个概率平均起来得到最终的预测结果。
我的问题是,如果我取这N组回归系数并对它们进行平均,然后使用这个平均后的系数集在一个逻辑回归分类器中,并将输出概率作为最终预测,这是否与前一段所描述的取N个结果概率的平均值相同?
回答:
答案是否定的,因为逻辑函数是非线性的:1/(1+exp(-a)) + 1/(1+exp(-b))
不等于 1/(1+exp(-(a+b)))
。
但是,逻辑函数的逆函数(也称为对数几率),是线性的(g(x)
在这个维基页面中)。如果你在计算对数几率,你可以在自助聚合过程中平均对应的系数(页面中的beta0
和 beta1
)。