我遇到了一个机器学习问题,需要使用多维的Y值。目前我们对输出每个维度分别训练独立的模型,这并没有利用到输出之间相关性的额外信息。
我一直在阅读这篇文章,以了解更多关于少数已经真正扩展到处理多维输出的机器学习算法。决策树就是其中之一。
当fit(X,Y)给定一个多维的Y时,scikit-learn是否使用“多目标回归树”,还是为每个维度拟合一个单独的树?我花了一些时间查看代码,但没有弄清楚。
回答:
经过进一步的深入研究,唯一区别在于给定单维Y标签的点和给定多维标签的点所使用的Criterion对象,用于决定分裂。Criterion可以处理多维标签,因此无论Y的维度如何,拟合DecisionTreeRegressor的结果都将是一个单一的回归树。
这意味着,scikit-learn确实使用了真正的多目标回归树,可以利用相关输出产生积极效果。