我想将我的数据分成训练集和测试集，我应该在分割前还是分割后对数据进行标准化处理？这在构建预测模型时有区别吗？

回答：

你首先需要将数据分成训练集和测试集（验证集也可能有用）。

别忘了测试数据点代表的是真实世界的数据。对解释变量（或预测变量）进行特征标准化（或数据标准化）是一种通过减去均值并除以方差来中心化和标准化数据的技术。如果你使用整个数据集的均值和方差，你将会在训练解释变量中引入未来的信息（即均值和方差）。

因此，你应该对训练数据进行特征标准化处理。随后，也要对测试实例进行标准化处理，但这次使用的是训练解释变量的均值和方差。这样，我们就可以测试和评估我们的模型是否能很好地泛化到新的、未见过的数据点上。

如需更全面的阅读，你可以阅读我的文章 特征缩放和标准化概述

作为一个例子，假设我们有以下数据：

>>> import numpy as np>>> >>> X, y = np.arange(10).reshape((5, 2)), range(5)

其中 X 代表我们的特征：

>>> X[[0 1] [2 3] [4 5] [6 7] [8 9]]

而 Y 包含相应的标签

>>> list(y)>>> [0, 1, 2, 3, 4]

步骤1：创建训练/测试集

>>> X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)>>> X_train[[4 5] [0 1] [6 7]]>>>>>> X_test[[2 3] [8 9]]>>>>>> y_train[2, 0, 3]>>>>>> y_test[1, 4]

步骤2：标准化训练数据

>>> from sklearn import preprocessing>>> >>> normalizer = preprocessing.Normalizer()>>> normalized_train_X = normalizer.fit_transform(X_train)>>> normalized_train_Xarray([[0.62469505, 0.78086881],       [0.        , 1.        ],       [0.65079137, 0.7592566 ]])

步骤3：标准化测试数据

>>> normalized_test_X = normalizer.transform(X_test)>>> normalized_test_Xarray([[0.5547002 , 0.83205029],       [0.66436384, 0.74740932]])