我在尝试使用经过特征选择的数据集进行预测时遇到一个问题:一旦选择了某些特征,如果你要在测试数据集上进行预测,由于训练数据集经过特征选择后特征减少,测试数据集的特征将无法对齐。你如何正确地实施特征选择,使测试数据集与训练数据集具有相同特征?
示例:
from sklearn.datasets import load_iris from sklearn.feature_selection import SelectKBest from sklearn.feature_selection import chi2 iris = load_iris() X, y = iris.data, iris.target X.shape(150, 4) X_new = SelectKBest(chi2, k=2).fit_transform(X, y) X_new.shape(150, 2)
回答:
你也需要对测试集进行transform
操作… 而且不要使用fit_transform
,只使用transform
。这需要你保存SelectKBest
对象,类似于这样:
selector = SelectKBest(chi2, k=2)X_train_clean = selector.fit_transform(X_train, y_train)X_test_clean = selector.transform(X_test)