我有一个问题需要您的帮助。我正在分析一个数据集，需要预测一个目标变量。为此，我进行了一些数据清理工作，包括删除高度线性相关的特征等。

准备好数据后，我应用了随机森林回归器（这是一个回归问题）。我有点卡住了，因为我实在无法理解并因此无法确定max_features的取值。

我找到了以下页面回答，其中提到

对于回归问题，features=n_features 是 scikit 的一个错误。随机森林的原始论文给出的回归问题的 max_features = n_features/3

如果我使用 max_features=sqrt(n) 或 max_features=n_features，我会得到不同的结果

能有人给我一个好的解释，如何处理这个参数吗？

那将非常棒

回答：

max_features 是一个需要调整的参数。像 sqrt 或 n/3 这样的值是默认值，通常表现不错，但对于每个数据集，这个参数都需要优化，因为它会根据你拥有的特征、它们的相关性和重要性而变化。

因此，我建议使用 max_features 的不同值多次训练模型，尝试从 2 到你特征总数的所有可能值。
使用 oob_score=True 训练你的 RandomForestRegressor，并使用 oob_score_ 来评估森林的表现。一旦你遍历了 max_features 的所有可能值，保留那个获得最高 oob_score 的值。

为了安全起见，保持 n_estimators 在较高水平。

附注：这个过程基本上是一个参数的网格搜索优化，通常通过交叉验证来完成。由于随机森林提供给你袋外分数（OOB scores），你可以使用这些分数来代替 CV 分数，因为它们计算起来更快。