我尝试使用以下代码在给定数据集中使用scikit learn的RFECV进行特征选择:
import pandas as pdfrom sklearn.ensemble import RandomForestRegressorimport matplotlib.pyplot as pltfrom sklearn.model_selection import train_test_splitfrom sklearn.feature_selection import RFECV# 数据处理df = pd.read_csv('Combined_Data_final_2019H2_10min.csv')X, y = (df.drop(['TimeStamp','Power_kW'], axis=1)), df['Power_kW']SEED = 10X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=SEED)# "accuracy"评分与正确分类的数量成正比clf_rf_4 = RandomForestRegressor()rfecv = RFECV(estimator=clf_rf_4, step=1, cv=4,scoring='accuracy') #4折交叉验证 (cv=4)rfecv = rfecv.fit(X_train, y_train)print('最佳特征数量 :', rfecv.n_features_)print('最佳特征 :', X.columns[rfecv.support_])# 绘制特征数量与交叉验证分数的关系图plt.figure()plt.xlabel("选定特征的数量")plt.ylabel("选定特征数量的交叉验证分数")plt.plot(range(1, len(rfecv.grid_scores_) + 1), rfecv.grid_scores_)plt.show()
我尝试了许多不同的解决方案,但一直得到以下错误代码:
ValueError: continuous is not supported
有什么想法吗?
任何帮助都将非常感激!
回答:
我认为你的错误是由于这两行代码引起的:
clf_rf_4 = RandomForestRegressor()rfecv = RFECV(estimator=clf_rf_4, step=1, cv=4,scoring='accuracy')
accuracy
不适用于连续输出。尝试将其更改为类似于:
rfecv = RFECV(estimator=clf_rf_4, step=1, cv=4,scoring='r2')
有关回归评分指标的完整列表,请参见这里,注意Regression这一行。