我经常使用GridSearchCV进行超参数调优。例如，用于调整逻辑回归中的正则化参数C。每当我使用的估计器有自己的n_jobs参数时，我都会感到困惑，不知道应该在估计器中设置它，还是在GridSearchCV中设置，或者两者都设置？同样的问题也适用于cross_validate。

回答：

这是一个非常有趣的问题。我没有确定的答案，但有一些值得提到的元素，可以帮助理解这个问题，这些内容不适合放在评论中。

让我们从为什么应该或不应该使用多处理开始：

• 多处理对于独立任务很有用。在GridSearch中，所有模型的不同变体都是独立的，这就是一个例子。
• 多处理在以下情况下没有用处/会使事情变慢：
  • 任务太小：创建一个新进程需要时间，如果你的任务非常小，这种开销会减慢整个代码的执行速度
  • 启动的进程太多：你的计算机有有限的核心数。如果你启动的进程数量超过了核心数，负载平衡机制会迫使计算机定期切换运行的进程。这些切换需要一些时间，导致执行速度变慢。

第一个结论是，你不应该在GridSearch和正在优化的模型中都使用n_jobs，因为这会启动大量的进程，最终会减慢执行速度。

现在，很多sklearn模型和函数都基于Numpy/SciPy，而这些通常是以C/Fortran实现的，因此已经使用了多处理。这意味着这些不应该在GridSearch中设置n_jobs>1。

如果你假设你的模型尚未并行化，你可以选择在模型级别或GridSearch级别设置n_jobs。一些模型可以完全并行化（例如RandomForest），但大多数模型可能至少有一部分是顺序执行的（例如Boosting）。另一方面，GridSearch在设计上没有顺序组件，因此在GridSearch中设置n_jobs比在模型中设置更有意义。

不过，这取决于模型的实现，没有测试过你的具体情况，你无法得到一个确定的答案。例如，如果你的管道由于某些原因消耗了大量内存，在GridSearch中设置n_jobs可能会导致内存问题。

作为补充，这里有一篇关于sklearn中并行处理的非常有趣的说明