我目前在使用scikit learn库中的GridSearchCV方法时遇到了麻烦。我已经为此挣扎了一个星期，仍然无法解决。当我调用它来优化线性SVM的C参数时，它总是会冻结。奇怪的是，不仅在设置n_jobs=-1时会发生这种情况，即使设置n_jobs=1也会发生，所以我认为多处理不是特别的问题。此外，当我输入形状为(2448, 1024)的X数组时，它运行良好，但当我输入形状为(5202, 1024)的数组时，它完全会冻结。
我输入的数据：形状从(2448, 1024)到(7956, 1024)不等的float64 numpy数组，其中(2448, 1024)的数组运行良好
我已经尝试过的方法：
- 使用多线程，如https://stackoverflow.com/a/47929603/9699979中建议的
- 将n_jobs的数量减少到1
- 分配较少的pre_dispatch作业。它开始计算前几行的详细信息，显示它正在拟合的C值，然后就冻结了
- 添加
__name__ == '__main__'块，如https://github.com/scikit-learn/scikit-learn/issues/2889#issuecomment-37311446中建议的 - 从终端而不是从我一直在使用的Jupyter Notebook运行代码
由于我在Windows上运行代码，因此无法运行https://github.com/dmlc/xgboost/issues/2163#issuecomment-314524070中建议的以下代码:
from multiprocessing import pool, get_contextforkserver = get_context('forkserver')p = forkserver.Pool()需要注意的是：我使用f1函数而不是默认的准确性函数来进行拟合，这可能是一个问题，如下面的讨论中所见:
- https://github.com/scikit-learn/scikit-learn/issues/5115#issue-100597083
- https://github.com/scikit-learn/scikit-learn/issues/2889#issue-28205288
以下是一些代码片段:
from sklearn.externals.joblib import parallel_backend scaler = StandardScaler() X = scaler.fit_transform(fv_train.data) #traininig samples y = fv_train.axes[0] #class labels X_train, X_valid, y_train, y_valid = train_test_split(X, y, test_size = 0.1, train_size = 0.9)clf = SVC(kernel = 'linear', probability=True)scoring = ['f1']C_range = np.linspace(start=1000, stop=10000, num=4, endpoint = True)param_grid = dict(C = C_range)grid = GridSearchCV(clf, param_grid = param_grid, scoring = scoring, cv = 3, refit = 'f1', verbose = 42, n_jobs=-1, pre_dispatch=3)with parallel_backend('threading'): grid.fit(X_train, y_train)回答：
尝试在__name__ == '__main__'中指定您的代码，从Windows命令行运行，但不使用parallel_backend语句。指定GridSearchCV的n_jobs应该可以自行处理多处理。
clf = SVC(kernel = 'linear', probability=True)scoring = ['f1']param_grid = {'C': np.linspace(start=1000, stop=10000, num=4, endpoint = True)}grid = GridSearchCV(clf, param_grid = param_grid, scoring = scoring, cv = 3, refit = 'f1', verbose = 42, n_jobs=-1, pre_dispatch=3)grid.fit(X_train, y_train)打开Windows任务管理器，查看运行时的状态。查看您的CPU百分比、RAM和Windows进程。通常，您希望看到的是您的CPU使用率非常高，并且您应该在进程列表中看到多个名为Python的进程。它可能会因为您使用了满负荷的CPU而冻结。
另一种可能性是n_jobs尚未为f1评分实现。您可以尝试像这样不使用n_jobs语句运行您的代码:
clf = SVC(kernel = 'linear', probability=True)scoring = ['f1']param_grid = {'C': np.linspace(start=1000, stop=10000, num=4, endpoint = True)}grid = GridSearchCV(clf, param_grid = param_grid, scoring = scoring, cv = 3, refit = 'f1', verbose = 42, pre_dispatch=3)grid.fit(X_train, y_train)