自定义转换器在sklearn中的应用

我正在构建一个sklearn中的转换器,用于删除相关系数低于指定阈值的特征。

它在训练集上运行良好。然而,当我转换测试集时,测试集上的所有特征都消失了。我猜测转换器是在计算测试数据与训练标签之间的相关系数,由于这些相关系数都很低,所以它删除了所有特征。我该如何让它只在训练集上计算相关系数,并在转换时从测试集中删除这些特征呢?

class CorrelatedFeatures(BaseEstimator, TransformerMixin): #选择与响应标签相关系数高于阈值的特征    def __init__(self, response, threshold=0.1):        self.threshold = threshold        self.response = response    def fit(self, X, y=None):        return self    def transform(self, X, y=None):        df = pd.concat([X, self.response], axis=1)        cols = df.columns[abs(df.corr()[df.columns[-1]]) > self.threshold].drop(self.response.columns)        return X[cols]

回答:

您可以在fit()方法中计算并存储该相关系数和要删除的列,然后在transform()方法中仅转换这些列。

类似这样的代码:

........def fit(self, X, y=None):    df = pd.concat([X, self.response], axis=1)    self.cols = df.columns[abs(df.corr()[df.columns[-1]]) > self.threshold].drop(self.response.columns)    return selfdef transform(self, X, y=None):    return X[self.cols]

Related Posts

在使用k近邻算法时,有没有办法获取被使用的“邻居”?

我想找到一种方法来确定在我的knn算法中实际使用了哪些…

Theano在Google Colab上无法启用GPU支持

我在尝试使用Theano库训练一个模型。由于我的电脑内…

准确性评分似乎有误

这里是代码: from sklearn.metrics…

Keras Functional API: “错误检查输入时:期望input_1具有4个维度,但得到形状为(X, Y)的数组”

我在尝试使用Keras的fit_generator来训…

如何使用sklearn.datasets.make_classification在指定范围内生成合成数据?

我想为分类问题创建合成数据。我使用了sklearn.d…

如何处理预测时不在训练集中的标签

已关闭。 此问题与编程或软件开发无关。目前不接受回答。…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注