如下面的代码所示，我使用StandardScaler.fit()函数来拟合（即从特征中计算均值和方差）训练数据集。然后，我调用”.transform()”函数来缩放特征。我在文档和这里发现，我应该仅使用”.transform()”来转换测试数据集。在我的案例中，我尝试实现一个异常检测模型，其中所有训练数据集都来自一个目标用户，而所有测试数据集都是从多个其他异常用户中收集的。我的意思是，我们有”n”个用户，我们使用来自目标用户的一个类数据样本来训练模型，而我们在所有其他”n-1″个异常用户中随机选择的新异常样本上测试训练好的模型。
训练数据集大小：(4816, 158) => (样本数，特征数)测试数据集大小：(2380, 158)问题是，当我对训练数据集使用fit()然后”transform()”，而只对测试数据集使用”transform()”时，模型给出糟糕的结果。然而，当我对训练和测试数据集都使用”fit_transform()”而不是仅对测试数据集使用”transform()”时，模型给出良好的结果。
我的问题是：我应该遵循StandardScaler的文档，即测试数据集必须仅使用”.transform()”而不使用fit()函数进行转换吗？还是说这取决于数据集，我可以对训练和测试数据集都使用”fit_transform()”函数？
如果我对训练和测试数据集都使用”fit_transform”，是否可行？
回答：
我应该遵循StandardScaler的文档，即测试数据集必须仅使用”.transform()”而不使用fit()函数进行转换吗？还是说这取决于数据集，我可以对训练和测试数据集都使用”fit_transform()”函数？
一旦你为测试集重新训练你的缩放器，你的输入特征的依赖关系就会有所不同。原始算法将基于你的训练缩放的拟合进行拟合。如果你重新训练它，这将被覆盖，你就是在为算法伪造测试数据的输入。
所以答案是必须仅进行转换。
