根据这个网站 (http://www.statsmodels.org/dev/contrasts.html点击此处查看链接) 的定义,后向差分编码的定义是 ‘在后向差分编码中,一个层次的因变量的均值与前一个层次的因变量的均值进行比较。这种编码方式对于名义变量或顺序变量可能是有用的。‘
我不理解的是,如果这种编码方法依赖于因变量(如果我理解正确的话,因变量和输出变量是同一事物),那么当模型提前没有给出因变量时,我们如何在测试集中执行后向差分编码?在训练集中,因变量的值是已知的,但在测试集中它们是未知的。有人能提供建议吗?
回答:
这种方法只是对分类变量进行影响编码。
如果你的分类列有类别 {C1,C2,C3,…},那么影响编码的做法如下:
Impact(category = Ci) = E[y|Ci] - E[y]
在训练过程中,对于每个类别 (Ci),它计算该类别下的输出均值(即后验值)与因变量的整体期望值(即先验值)之间的差异。关于影响编码的更多参考,你可以查阅这篇论文 https://arxiv.org/abs/1611.09477v3(第10页)
在测试阶段,为了将测试数据的分类变量转换为其影响编码,它使用与训练数据相同的 ‘y’ 的期望值。由于这是期望值,因此即使训练数据的样本数比测试数据多(只要两个数据集中 ‘y’ 的分布相似),这也没有关系。