使用相同random_state的RandomizedSearchCV产生不同结果

我使用管道(pipeline)来进行特征选择和超参数优化,使用的是RandomizedSearchCV。以下是代码摘要:

from sklearn.cross_validation import train_test_splitfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.feature_selection import SelectKBestfrom sklearn.grid_search import RandomizedSearchCVfrom sklearn.pipeline import make_pipelinefrom scipy.stats import randint as sp_randintrng = 44X_train, X_test, y_train, y_test =    train_test_split(data[features], data['target'], random_state=rng)clf = RandomForestClassifier(random_state=rng)kbest = SelectKBest()pipe = make_pipeline(kbest,clf)upLim = X_train.shape[1]param_dist = {'selectkbest__k':sp_randint(upLim/2,upLim+1),  'randomforestclassifier__n_estimators': sp_randint(5,150),  'randomforestclassifier__max_depth': [5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, None],  'randomforestclassifier__criterion': ["gini", "entropy"],  'randomforestclassifier__max_features': ['auto', 'sqrt', 'log2']}clf_opt = RandomizedSearchCV(pipe, param_distributions= param_dist,                              scoring='roc_auc', n_jobs=1, cv=3, random_state=rng)clf_opt.fit(X_train,y_train)y_pred = clf_opt.predict(X_test)

我在train_test_splitRandomForestClassiferRandomizedSearchCV中使用了相同的random_state。然而,如果我多次运行上述代码,结果会略有不同。更具体地说,我的代码中有几个测试单元,这些略有不同的结果导致测试单元失败。难道不是因为使用了相同的random_state,我应该得到相同的结果吗?我在代码中是否遗漏了什么,导致代码的某些部分产生了随机性?


回答:

我通常会自己回答自己的问题!我将它留在这里,以帮助有类似问题的人:

为了确保避免任何随机性,我定义了一个随机种子。代码如下:

from sklearn.cross_validation import train_test_splitfrom sklearn.ensemble import RandomForestClassifierfrom sklearn.feature_selection import SelectKBestfrom sklearn.grid_search import RandomizedSearchCVfrom sklearn.pipeline import make_pipelinefrom scipy.stats import randint as sp_randintseed = np.random.seed(22)X_train, X_test, y_train, y_test =    train_test_split(data[features], data['target'])clf = RandomForestClassifier()kbest = SelectKBest()pipe = make_pipeline(kbest,clf)upLim = X_train.shape[1]param_dist = {'selectkbest__k':sp_randint(upLim/2,upLim+1),  'randomforestclassifier__n_estimators': sp_randint(5,150),  'randomforestclassifier__max_depth': [5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, None],  'randomforestclassifier__criterion': ["gini", "entropy"],  'randomforestclassifier__max_features': ['auto', 'sqrt', 'log2']}clf_opt = RandomizedSearchCV(pipe, param_distributions= param_dist,                              scoring='roc_auc', n_jobs=1, cv=3)clf_opt.fit(X_train,y_train)y_pred = clf_opt.predict(X_test)

希望这对其他人有所帮助!

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注