由于我的数据不是正态分布的，因此我决定在将它们分割成X_train、X_test、y_train、y_test之前，对X和y使用PowerTransformer进行处理。这样做可以吗，还是应该在之后进行变换？以下是我的代码：

X = df[['Aces', 'TotalPointsWon', 'ServiceGamesWon', 'TotalServicePointsWon']]y = df[['Winnings']]transformer_X = PowerTransformer()X_log = transformer_X.fit_transform(X)transformer_y = PowerTransformer()y_log = transformer_y.fit_transform(y)X_train, X_test, y_train, y_test = train_test_split(X_log, y_log, train_size=0.8)scaler = StandardScaler()scaler.fit_transform(X_train)scaler.transform(X_test)model = LinearRegression()model.fit(X_train, y_train)

残差分析图

谢谢你的帮助。

回答：

PowerTransformer使数据在特征上更接近高斯分布。

与任何数据预处理步骤一样，通常的做法是拟合（即学习参数）训练数据，然后变换训练数据和测试集（即将学习到的参数应用于未见过的新数据）。

因此，拟合方法应该只应用于训练数据，假设它代表了整个样本的统计分布（即确保在分类问题中使用分层分割，确保有足够的样本，使用交叉验证等）。

为什么？

因为在某个时候，你会收到新的未见过的数据，你将仅需要对其进行变换。这就是为什么你在这一阶段分割数据，以模拟这一事件，并验证模型既不过拟合也不欠拟合，确实学会了如何表示数据。

否则，你的模型将存在偏差，数据窥探将在一定程度上适用于此处。

最后的话

请注意，PowerTransformer接受一个名为method的参数，用于指定两种可用的幂变换方法之一：

1. yeo-johnson：适用于正值和负值。
2. box-cox：仅适用于严格正值。

你可以分别在这里和在这里阅读更多关于它们的信息。