根据sklearn的RandomizedSearchCV和GridSearchCV模块的文档，它们只支持传递给它们的分类器的fit方法，而不支持分类器的partial_fit方法，后者可用于增量训练。目前，我正在尝试使用SGDClassifier，它可以通过partial_fit方法在增量数据上进行训练，并寻找最佳的超参数集。我只是在想为什么RandomizedSearchCV或GridSearchCV不支持partial_fit。我看不出任何技术上的原因不能这样做（如果我错了，请纠正我）。任何线索都将非常受欢迎。
回答：
是的，从技术上讲，你也可以为partial_fit编写一个GridSearchCV，但是当你考虑到
- 你在寻找什么？
- 你在优化什么？
这与我们使用.fit()方法所做的完全不同。以下是我列出的GridSearchCV/RandomSearchCV中不包含partial_fit的原因列表。
你在寻找什么？
-
当我们为一个批次数据优化模型的超参数时，对于最终模型（使用多个
partial_fit在完整数据上训练）来说可能是次优的。现在的问题变成了寻找超参数的最佳调度，即在每个批次/时间步的超参数的最佳值是什么。一个例子是神经网络中的衰减学习率，我们使用多个partial_fit训练模型，超参数 – 学习率值不是单一值，而是一系列需要在每个时间步/批次使用的值。 -
此外，你需要多次遍历整个数据集（多个epoch）来知道超参数的最佳调度。这需要对GridSearchCV进行基本的API更改。
你在优化什么？
- 现在需要更改模型的评估指标。该指标可以在所有
partial_fit结束时达到最佳性能，或者在较少的批次中快速达到常规指标（如precision、recall、f1-score等）的甜蜜点，或者两者的某种组合。因此，这也需要一个API更改，用于计算使用多个partial_fit训练的模型的性能总结的单一值。
