我在大多数实现中都看到了这种做法，但我并不完全理解其目的。我听说这是一个预处理步骤，可以帮助提高分类准确性？这是否是必要的，特别是对于非分类任务，例如生成新图像、处理图像激活？
回答：
数据标准化最常见的方法之一是使其具有0均值和1方差。通常这样做是因为：
-
计算原因 – 大多数训练算法需要你的数据点具有较小的范数才能正常运行。这是由于例如梯度稳定性等原因。
-
数据集偏差原因 – 如果你的数据均值不为0，那么它意味着它会不断地将网络推向某个特定方向。这必须由网络的权重和偏差来补偿，这可能会减慢训练速度（特别是当输出的范数相对较大时）。
-
当数据未被标准化/缩放时 – 一些输入坐标（那些具有较大均值和范数的坐标）对训练过程的影响会大得多。例如，想象有两个变量 – 年龄和一个人是否心脏病发作的二进制指标。如果你不标准化你的数据 – 由于年龄的范数高于二进制指标，这会使得年龄这个坐标对训练过程的影响远大于另一个坐标。这对于预测某人是否会再次心脏病发作是否合理？
