如何使用机器学习模型对特征略有不同的数据进行预测？

我有一个基于大量NLP数据（每个词的tf-idf值）训练的随机森林模型。我想用它来对一个新数据集进行预测。模型中的特征与新数据中的特征有一定的重叠，但并不完全匹配，因此当我对新数据进行预测时，我得到了以下错误：

Error in predict.randomForest(object = model, newdata = new_data) :   variables in the training data missing in newdata

为了绕过这个错误，我考虑排除模型中所有在新数据中未出现的特征，以及新数据中所有在模型中未出现的特征。暂时不考虑这对模型准确性的影响（这会显著减少特征数量，但仍有足够的特征用于预测），我做了类似这样的事情：

model$forest$xlevels <- model$forest$xlevels[colnames(new_data)]# and vice versanew_data <- new_data[names(model$forest$xlevels)]

这个方法在某种程度上是有效的，因为names(model$forest$xlevels) == colnames(new_data)对每个特征名称都返回了TRUE。

然而，当我尝试对生成的new_data进行预测时，我仍然得到了variables in the training data missing in newdata的错误。我相当确定我修改了模型的正确部分（model$forest$xlevels），那么为什么它不起作用呢？

回答：

我认为你应该反过来做。也就是说，向新数据中添加缺失的列。

在处理词袋模型时，常见的情况是某些批次的新数据中不包含某些词。这些缺失的词应该只是编码为零的列。

# 像这样做（显然也要排除目标变量）names_missing <- names(traindata)[!names(traindata) %in% names(new_data)]new_data[,names_missing] <- 0L

然后你应该能够进行预测了

学技术