我正在对有关公交车时刻表的数据集运行一些用于分类的算法。具体来说，我运行了一些随机森林，我的部分源代码如下：
# 实例化随机森林from sklearn.ensemble import RandomForestClassifierrandom_forest = RandomForestClassifier()# K折交叉验证（用于网格搜索）inner_cross_validator = StratifiedKFold(n_splits=k_fold, shuffle=True)from sklearn.model_selection import GridSearchCV# 定义网格搜索的参数number_of_trees = {'n_estimators': [100, 300, 500]}max_features_per_tree = {'max_features': [0.2, 0.5, 0.8]}min_samples_split_per_node = {'min_samples_split': [0.2, 0.5, 0.8]}parameters = {**number_of_trees, **max_features_per_tree, **min_samples_split_per_node}# 执行网格搜索并获取最佳分类器best_random_forest = GridSearchCV(estimator=random_forest, param_grid=parameters, scoring='average_precision', cv=inner_cross_validator, n_jobs=3)best_random_forest.fit(X_train, y_train)然而，经过网格搜索后，精确度和召回率几乎没有提高。
总的来说，根据我过去在其他数据集上的经验，我没有注意到网格搜索后各种指标的得分比像SkLearn这样的库的默认值提高超过5%，或者很少有10%的提升。
在特征工程阶段之后，我可以做些什么来显著提高我的分类模型的性能吗？
回答：
通过超参数调优实现5%-10%的提升已经是一个显著的提高。你不应该期望从网格搜索中获得更大的提升。
除了特征工程（这在提高性能方面有很大的空间）之外，你可以尝试以下方法：
-
随机搜索：在定义的范围内搜索随机选择的超参数值。这应该http://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html
-
使用不同的算法：你目前使用的是随机森林。这是一种非常有效的方法，可以减少你的预测的方差并稍微提高性能。然而，其他方法如梯度提升应该能给你更好的性能。
-
不同算法的集成：这是一个非常广泛的话题，涵盖了许多不同的方法来组合模型以提高性能。https://www.analyticsvidhya.com/blog/2018/06/comprehensive-guide-for-ensemble-models/
