如何将sklearn目标变换器(用于输出变量)添加到keras神经网络管道中?

我想使用Keras构建一个神经网络,对我的输入变量和输出变量进行变换,并使用sklearn Pipeline(这样我可以进行交叉验证)。我尝试使用TransformedTargetRegressor,但我的均方误差看起来不合理。

这是我的代码,改编自Sklearn的TransformedTargetRegressor示例,使用波士顿房价数据集,并添加了一个简单的神经网络来缩放输入变量(X)。

设置(这一部分没问题):

import numpy as npfrom keras.models import Sequentialfrom keras.layers import Densefrom keras.wrappers.scikit_learn import KerasRegressorfrom sklearn.model_selection import cross_val_scorefrom sklearn.model_selection import KFoldfrom sklearn.preprocessing import StandardScalerfrom sklearn.pipeline import Pipelinefrom sklearn.preprocessing import MinMaxScalerfrom sklearn.datasets import load_bostonfrom sklearn.compose import TransformedTargetRegressorfrom sklearn.model_selection import train_test_split#load dataX, y = load_boston(return_X_y=True)#define simple neural networkdef simple_nn():    model = Sequential()    model.add(Dense(13, input_dim=13, activation='relu'))    model.add(Dense(1))    model.compile(loss='mean_squared_error', optimizer = 'adam')    return model#create pipeline for input variables (X) preprocessingestimators = []estimators.append(('standardize', StandardScaler()))estimators.append(('mlp', KerasRegressor(build_fn=simple_nn, epochs=100, batch_size=5, verbose=True)))pipeline = Pipeline(estimators)

我尝试做以下操作(有问题的部分):

#Section in questiontransformer = MinMaxScaler()model = TransformedTargetRegressor(regressor=pipeline,                                   transformer=transformer)results = cross_val_score(model, X, y, cv=KFold(n_splits=5))

交叉验证得分结果为:array([ 0.61321517, 0.35811762, -2.67674546, -0.30623006, -0.38187424])

中间的数字特别让我担心,因为目标y应该是从0到1缩放的,所以-2.67的均方误差看起来是错误的。我在这里做错了什么?


回答:

均方误差是平方后的值,因此不可能是负数。这意味着你的得分不是均方误差。

cross_val_score文档告诉我们,如果没有定义,评分器会默认使用估计器的评分器:

“如果为None,将使用估计器的默认评分器(如果可用)。

在你的例子中,使用的是TransformedTargetRegressor回归器。TransformedTargetRegressor文档告诉我们,它的默认评分是:

返回预测的决定系数R^2。

所以你显示的值是R2得分。如果你的模型表现不好,它可能是负值。请参见这个问题作为示例。

作为最佳实践,你应该始终定义你想要使用的评分器,以避免依赖错误的评分器。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注