通常，在使用神经网络时，我会以这种方式进行归一化：

scaler = StandardScaler()train_X = scaler.fit_transform( train_X )test_X = scaler.transform( test_X )

也就是说，我在分割后进行归一化，这样可以避免测试集的数据泄露到训练集。但我在使用LSTM时对此产生了疑问。

假设我在LSTM的训练集中最后一个序列是 X = [x6, x7, x8]，Y = [x9]。

那么，我的测试集中的第一个序列应该是 X = [x7, x8, x9]，Y = [x10]。

所以，如果我在测试集的X中混合了两个集合的值，分割后再进行数据归一化是否有意义？还是应该先用

scaler = StandardScaler()data = scaler.fit_transform( data )

对整个数据集进行归一化，然后再进行分割？

回答：

您展示的归一化程序是所有机器学习问题的唯一正确方法，LSTM也不例外。

在遇到类似困惑时，有一个普遍适用的经验法则可以帮助澄清疑惑：

在整个模型构建过程中（包括所有必要的预处理），假装你完全无法访问任何测试集，直到使用这个测试集来评估你的模型性能。

换句话说，假装你的测试集只有在部署模型后才会出现，并且它开始接收到那时为止完全新且未见过的数据。

因此，从概念上讲，将您第一个代码片段的第三行移到最后可能会有帮助，即：

X_train, X_test, y_train, y_test = train_test_split(X, y)### 从这一点开始忘记X_test...X_train = scaler.fit_transform(X_train)# 进一步的预处理、特征选择等...# 模型构建和拟合...model.fit(X_train, y_train)# X_test 只是进来:X_test = scaler.transform(X_test)model.predict(X_test)