我在进行逻辑回归项目时,遇到了上述概念。那么,RandomSearchCV和GridSearchCV是什么?
回答:
我猜你是指sklearn中使用的交叉验证(CV)策略类别。
交叉验证是一种评估模型的方法。一个众所周知的用例是评估在模型中使用哪些超参数集,例如梯度下降中的学习率。
为了找到最佳超参数,我们选择一组候选超参数,训练这些超参数的所有模型,并通过交叉验证比较它们的适应性。最后,我们选择那些给出最佳CV分数的超参数。
随机搜索交叉验证
文档在:https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.RandomizedSearchCV.html
简而言之,它使用一组随机的超参数。当有许多超参数时,搜索空间很大时非常有用。如果你对超参数有什么先验的信念,也可以使用它。
网格搜索交叉验证
文档在:https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.GridSearchCV.html
在搜索空间上创建一个网格,并评估空间中所有可能的超参数的模型。优点是简单且详尽。缺点是,如果搜索空间很大(例如,超参数非常多),计算时间可能会非常昂贵。