我想知道Sci-kit Learn提供的任何估计器是否会受到训练它的数据框中列顺序的影响。我尝试用ExtraTreesRegressor建立基线，结果得出了三个不同的分数：

• 常规顺序为.531687
• 反转顺序为.535309
• 常规顺序为.554458

显然，ExtraTreesRegressor在这里不是一个好的例子，所以我尝试了LinearRegression，但无论列的顺序如何，结果都是.295898。

我想知道是否有任何估计器会受到列顺序的影响，如果没有，你能否指导我一些方法，或者提供一些代码，让我确保列的顺序确实会产生影响？

回答：

任何在构建模型时涉及随机选择特征的算法预计都会受到其顺序的影响；据我所知，scikit-learn中唯一存在这种情况的是Extra Trees和Random Forest（无论是分类器还是回归器），它们确实有一些相似之处。

这种行为的关键证据是max_features参数；从RF文档（在Extra Trees中的描述相同）中可以看到：

max_features : {“auto”, “sqrt”, “log2”} int or float, default=”auto”

在寻找最佳分割时考虑的特征数量

我不知道其他涉及这种随机特征选择的算法（线性模型、决策树、SVM、朴素贝叶斯、神经网络和梯度提升树不涉及），但如果你在文档中看到类似的情况，你可以确定相应的算法也会受到特征顺序的影响。

请记住，这种理论上不应该发生的轻微差异在随机性从多个角度进入的模型中是可以预期的。对于R中RF的一个类似情况（在请求importance=TRUE时得到略有不同的结果），请查看我在为什么重要性参数会影响R中随机森林的性能？中的回答