如何解释回归中的均方误差(MSE)?

我正在尝试构建一个模型来预测房价。

我有一些特征X(如浴室数量等)和目标Y(价格范围在30万到80万美元之间)

在将Y拟合到模型之前,我使用了sklearn的标准化缩放器对Y进行了标准化处理。

这是我的Keras模型:

def build_model():    model = Sequential()    model.add(Dense(36, input_dim=36, activation='relu'))    model.add(Dense(18, input_dim=36, activation='relu'))    model.add(Dense(1, activation='sigmoid'))    model.compile(loss='mse', optimizer='sgd', metrics=['mae','mse'])    return model

我在尝试解释结果时遇到了麻烦——0.617454319755的MSE意味着什么?

我是否需要对这个数字进行逆变换,然后再开方,得到一个741.55美元的误差率?

math.sqrt(sc.inverse_transform([mse]))

我为自己听起来很傻而道歉,因为我刚开始学习!


回答:

我为自己听起来很傻而道歉,因为我刚开始学习!

不要这样想;这是一个非常重要但通常(遗憾地)在教程和入门介绍中被忽略的微妙问题。

不幸的是,这不仅仅是简单地对逆变换后的MSE开方,但也不是非常复杂;你需要做的基本上是:

  1. 将你的预测变换回原始数据的初始尺度
  2. 获取这些逆变换后的预测与原始数据之间的MSE
  3. 对结果进行开方

以便获得一个在你问题的事务(例如,这里是美元)背景下有意义的模型性能指标。

让我们用玩具数据来看一个快速的例子,省略模型本身(在这里是无关紧要的,实际上可以是任何回归模型——不仅仅是Keras模型):

from sklearn.preprocessing import StandardScalerfrom sklearn.metrics import mean_squared_errorimport numpy as np# toy dataX = np.array([[1,2], [3,4], [5,6], [7,8], [9,10]])Y = np.array([3, 4, 5, 6, 7])# feature scalingsc_X = StandardScaler()X_train = sc_X.fit_transform(X)# outcome scaling:sc_Y = StandardScaler()Y_train = sc_Y.fit_transform(Y.reshape(-1, 1))Y_train# array([[-1.41421356],#        [-0.70710678],#        [ 0.        ],#        [ 0.70710678],#        [ 1.41421356]])

现在,假设我们使用缩放后的集合X_trainY_train来拟合我们的Keras模型(此处未显示),并在训练集上获取预测:

prediction = model.predict(X_train) # scaled inputs hereprint(prediction)# [-1.4687586  -0.6596055   0.14954728  0.95870024  1.001172  ]

Keras报告的MSE实际上是缩放后的MSE,即:

MSE_scaled = mean_squared_error(Y_train, prediction)MSE_scaled# 0.052299712818541934

而我上面描述的3个步骤简单来说就是:

MSE = mean_squared_error(Y, sc_Y.inverse_transform(prediction))  # first 2 steps, combinedMSE# 0.10459946572909758np.sqrt(MSE)  # 3rd step# 0.323418406602187

所以,在我们的例子中,如果我们的初始Y是美元,那么实际误差以相同单位(美元)表示将是0.32美元。

请注意,简单地对缩放后的MSE进行逆变换会得到一个非常不同(并且不正确)的结果:

np.sqrt(sc_Y.inverse_transform([MSE_scaled]))# array([2.25254588])

Related Posts

L1-L2正则化的不同系数

我想对网络的权重同时应用L1和L2正则化。然而,我找不…

使用scikit-learn的无监督方法将列表分类成不同组别,有没有办法?

我有一系列实例,每个实例都有一份列表,代表它所遵循的不…

f1_score metric in lightgbm

我想使用自定义指标f1_score来训练一个lgb模型…

通过相关系数矩阵进行特征选择

我在测试不同的算法时,如逻辑回归、高斯朴素贝叶斯、随机…

可以将机器学习库用于流式输入和输出吗?

已关闭。此问题需要更加聚焦。目前不接受回答。 想要改进…

在TensorFlow中,queue.dequeue_up_to()方法的用途是什么?

我对这个方法感到非常困惑,特别是当我发现这个令人费解的…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注