我在对数据集进行归一化处理，但数据中由于填充的原因包含了大量的0值。
我在模型训练时可以屏蔽这些0值，但显然，当我应用归一化时，这些0值也会受到影响。
from sklearn.preprocessing import StandardScaler,MinMaxScaler
我目前使用的是Sklearn库来进行归一化处理
例如，给定一个维度为(4,3,5)的三维数组，表示为(批次，步骤，特征)
由于这些是从不同长度的音频文件中提取的特征，使用固定窗口大小，因此每个批次的零填充数量各不相同。
[[[0 0 0 0 0], [0 0 0 0 0], [0 0 0 0 0]] [[1 2 3 4 5], [4 5 6 7 8], [9 10 11 12 13]], [[14 15 16 17 18], [0 0 0 0 0], [24 25 26 27 28]], [[0 0 0 0 0], [423 2 230 60 70], [0 0 0 0 0]]]我希望按列进行归一化处理，因此
scaler = MinMaxScaler()X_train = scaler.fit_transform(X_train.reshape(-1,X_train.shape[-1])).reshape(X_train.shape)X_test = scaler.transform(X_test.reshape(-1,X_test.shape[-1])).reshape(X_test.shape)然而，在这种情况下，零值被视为有效值。例如，第一列的最小值应为1而不是0。
此外，应用归一化后，0值也会发生变化，但我希望保持它们为0，以便在训练时可以屏蔽它们。model.add(tf.keras.layers.Masking(mask_value=0.0, input_shape=(X_train.shape[1], X_train.shape[2])))
有没有办法在归一化过程中屏蔽这些0值，以便仅使用示例中的第二步和第三步进行归一化？
此外，我的项目中数组的实际维度更大，为(2000,50,68)，在68个特征中，特征值之间的差异可能非常大。我尝试通过将每个元素除以其所在行的最大元素来进行归一化，以避免0值的影响，但效果不佳。
回答：
仅使用 MinMaxScaler() 进行掩码的任务可以通过以下代码解决。
其他操作需要单独处理，如果您能提到所有需要掩码的操作，我们可以逐一解决，我会扩展我的回答。例如，您提到的Keras层可以通过 tf.keras.layers.Masking() 层进行掩码处理。
以下代码仅对非零特征进行最小/最大缩放，其余保持为零。
import numpy as npfrom sklearn.preprocessing import MinMaxScalerX = np.array([ [[0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]], [[1, 2, 3, 4, 5], [4, 5, 6, 7, 8], [9, 10, 11, 12, 13]], [[14, 15, 16, 17, 18], [0, 0, 0, 0, 0], [24, 25, 26, 27, 28]], [[0, 0, 0, 0, 0], [423, 2, 230, 60, 70], [0, 0, 0, 0, 0]]], dtype = np.float64)nz = np.any(X, -1)X[nz] = MinMaxScaler().fit_transform(X[nz])print(X)输出:
[[[0. 0. 0. 0. 0. ] [0. 0. 0. 0. 0. ] [0. 0. 0. 0. 0. ]] [[0. 0. 0. 0. 0. ] [0.007109 0.13043478 0.01321586 0.05357143 0.04615385] [0.01895735 0.34782609 0.03524229 0.14285714 0.12307692]] [[0.03080569 0.56521739 0.05726872 0.23214286 0.2 ] [0. 0. 0. 0. 0. ] [0.05450237 1. 0.10132159 0.41071429 0.35384615]] [[0. 0. 0. 0. 0. ] [1. 0. 1. 1. 1. ] [0. 0. 0. 0. 0. ]]]如果您需要在某个数据集上训练 MinMaxScaler() 然后在其他数据集上应用它，您可以这样做:
scaler = MinMaxScaler().fit(X[np.any(X, -1)])X[np.any(X, -1)] = scaler.transform(X[np.any(X, -1)])Y[np.any(Y, -1)] = scaler.transform(Y[np.any(Y, -1)])