我在R中使用RMOA
实现预先评估(Prequential Evaluation)。
虽然这对问题本身不是很重要,但这种方法主要通过对流数据中的每个观测值进行先测试然后再训练模型,来评估流数据分类器的性能。
我已经基本完成了实现,但我在进行预测时遇到了以下错误信息:
替换项的数量不是替换长度的倍数
我使用的是Iris数据集,奇怪的是,它按照我预期的方式对前50个观测值进行了类别标签的预测和训练。然而,对于剩下的100个观测值,它产生了上述错误。数据集按默认顺序排列:
标签 数量Setosa 50Versicolor 50Virginica 50
这意味着,出于某种原因,模型对所有Setosa观测值进行了预测,而对于其他两个类别标签则产生了这个错误。如果我随机化行,我会遇到相同的问题;一旦遇到第二个类别标签就会产生错误。
我阅读了关于此错误的类似问题,例如这个。现有的问题似乎都没有在分类背景下解决这个问题。
相关的R代码如下:
require(RMOA)require(stream)#data<-iris[sample(nrow(iris)),] #使用此行来随机化Iris数据集df = datastream_dataframe(as.data.frame(iris))opts<-MOAoptions(model="HoeffdingTree")tree<-HoeffdingTree(control = opts)mymodel <- NULLi<- 1#遍历流直到流为空repeat{ element <- df$get_points(1) #检查流是否为空 - 虽然不优雅但目前有效 if(is.null(element$Species)){ break } #预先评估 tryCatch( { #先测试 pred <- RMOA:::predict.MOA_trainedmodel(mymodel, element, type="response") cat("测试元素 ", i, "预测: ",pred, ". 标签: ", element$Species,"\n") #然后训练 #如果是流中的第一个元素,模型将在下面的错误块中进行初始训练 if(!i==1){ mymodel <<- trainMOA(model = mymodel$model, formula = Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width, data = datastream_dataframe(element)) cat("使用元素 ", i, "训练模型\n") } }, error = function(err){ cat("处理元素 ", i, "时出错\n") if(i==1){ cat("模型最初未经训练。\n") mymodel <<- trainMOA(model = tree, Species ~ Sepal.Length + Sepal.Width + Petal.Length + Petal.Width, data = datastream_dataframe(element)) } else{ message(err) } })#结束try-catch块 i<<- i+ 1}#结束while循环
请注意,最初模型被设置为null
。对于第一个观测值,尝试预测会产生错误,因为模型未经训练。这在try-catch
中得到了处理。所有后续的观测值都应该在训练之前进行测试。
我的模型出了什么问题会导致这个错误?
回答:
经过一些调查,我发现了最初在MOA-users Google小组上报告的错误。
这个问题在提交39665f9
中被作为一个错误修复,包作者在我在GitHub仓库上开的issue中提到了这一点。
通过CRAN安装RMOA
会得到1.0版本,该版本仍然包含此错误。为了避免这个问题,请安装1.1版本,该版本可从包的GitHub仓库获取,或者使用以下命令:
install_github("jwijffels/RMOA", subdir="RMOA/pkg")