我在参加Kaggle竞赛，使用的数据集是： https://www.kaggle.com/c/home-data-for-ml-course/download/train.csv
根据理论，随着随机森林模型中估计器数量的增加，平均绝对误差会下降，直到某个点（最佳点），再增加会导致过拟合。通过绘制估计器数量和平均绝对误差的图表，我们应该得到这个红色图表，其中最低点标记了最佳的估计器数量。
我尝试使用以下代码找到最佳的估计器数量，但数据图显示MAE持续下降。我做错了什么？
train_data = pd.read_csv('train.csv')y = train_data['SalePrice']#为简单起见，删除所有缺失值和非数值的列X = train_data.drop('SalePrice', axis=1).dropna(axis=1).select_dtypes(['number'])X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)mae_list = []for n_estimators in range(10, 800, 10): rf_model = RandomForestRegressor(n_estimators=n_estimators, random_state=0, n_jobs=8) rf_model.fit(X_train, y_train) preds = rf_model.predict(X_test) mae = mean_absolute_error(y_test, preds) mae_list.append({'n_est': n_estimators, 'mae': mae})#绘制结果plt.plot([item['n_est'] for item in mae_list], [item['mae'] for item in mae_list])
回答：
你不一定做错了什么。
仔细观察你展示的理论曲线，你会注意到水平轴上没有丝毫关于实际树/迭代数量的指示，这些数量应该在哪里达到最小值。这是这种理论预测的一个普遍特征——它们告诉你预期会发生什么，但没有关于你应该在哪里（甚至是大致在哪里）期待它的信息。
记住这一点，从你的第二个图表中，我唯一能得出的结论是，在你尝试的约800棵树的特定范围内，你实际上仍然在预期最小值的“左侧”。
同样，没有理论预测你应该增加多少棵树（800或8,000或…）才能达到那个最小值。
为了给讨论带来一些实证支持：在我的第一次Kaggle竞赛中，我们一直增加树，直到达到大约24,000棵树，然后我们的验证误差才开始发散（我们使用的是GBM而不是RF，但原理是相同的）。
