我想进行超参数调优，为此我想使用RandomizedSearchCV或GridSearchCV。我尝试对随机森林分类器运行了这两种方法。
我发现网格搜索会搜索我参数网格的所有可能组合，但随机搜索只搜索10个可能的组合。假设它是随机选择的10组参数，可能会给我提供错误的最佳参数。另一方面，如果我使用GridSearch方法，则运行时间会很长。现在，我在这两种方法之间感到困惑。我应该使用哪一种？或者我可以做一些更改，以便在可接受的运行时间内获得最佳参数吗？
回答：
超参数调优方案取决于你的应用。至于网格搜索和随机搜索：
-
当你只有少量超参数，并且每个超参数对验证分数的影响大致相同时，网格搜索效果很好
-
当影响程度不平衡时，随机搜索是更好的选择，这种情况在参数数量增加时更有可能发生
来源：deeplearning.ai关于超参数调优的课程 在此
其他调优方案包括
- 从粗到细的调优：首先使用网格搜索粗略地采样超参数空间，然后在验证分数较高的地方集中采样
- 使用高斯过程的贝叶斯优化：在此
