如何在测试集中使用后向差分编码?

根据这个网站 (http://www.statsmodels.org/dev/contrasts.html点击此处查看链接) 的定义,后向差分编码的定义是 ‘在后向差分编码中,一个层次的因变量的均值与前一个层次的因变量的均值进行比较。这种编码方式对于名义变量或顺序变量可能是有用的。

我不理解的是,如果这种编码方法依赖于因变量(如果我理解正确的话,因变量和输出变量是同一事物),那么当模型提前没有给出因变量时,我们如何在测试集中执行后向差分编码?在训练集中,因变量的值是已知的,但在测试集中它们是未知的。有人能提供建议吗?


回答:

这种方法只是对分类变量进行影响编码

如果你的分类列有类别 {C1,C2,C3,…},那么影响编码的做法如下:

                         Impact(category = Ci) = E[y|Ci] - E[y]

在训练过程中,对于每个类别 (Ci),它计算该类别下的输出均值(即后验值)与因变量的整体期望值(即先验值)之间的差异。关于影响编码的更多参考,你可以查阅这篇论文 https://arxiv.org/abs/1611.09477v3(第10页)

在测试阶段,为了将测试数据的分类变量转换为其影响编码,它使用与训练数据相同的 ‘y’ 的期望值。由于这是期望值,因此即使训练数据的样本数比测试数据多(只要两个数据集中 ‘y’ 的分布相似),这也没有关系。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注