我在多核服务器上使用scikit-learn的RandomForestClassifier来拟合一个大型数据集，因此我通过设置n_jobs = -1来利用其并行化功能。

同时，我还想进行交叉验证（使用cross_val_score），并同样利用其并行化功能（再次通过设置n_jobs = -1）。

我的问题是，同时使用这两种并行化方式是否会显著提高模型构建的速度，超过仅使用单一类型的并行化。如果后者为真，那么我不确定应该优先选择哪种并行化方式。scikit-learn的文档和Stack Overflow都没有提供关于如何使这两种并行化方式协同工作的建议。

如果提供更多关于我的设置的信息会对提供更有帮助的答案有用，请告诉我。谢谢！

回答：

不，只能使用一种类型的并行化。无法嵌套joblib调用。我认为会使用最外层的循环，也就是cross_val_score，但我不确定。

你实际上应该并行化的循环取决于你的设置。我可能会选择RandomForestClassifier(n_jobs=-1)，并串行进行cross_val_score。使用详细的GridSearchCV也会很快让你了解验证准确性的一些见解。

假设你并行进行cross_val_score，并且你的折数比CPU少（比如5个折和5个CPU）。通常一些森林的运行时间会比其他森林短得多，如果你搜索最大深度的话。那么快速的森林会完成它们的任务，而CPU会闲置，而“慢”的森林仍在训练中。