我正在训练一个全连接神经网络来分类MNIST数据集。输入数据是像素值在[0, 255]范围内的黑白方形图像。

我了解到使用sigmoid()激活函数时，需要将输入归一化到[0, 1]（sigmoid的范围）。

对于tanh()激活函数，应该如何归一化输入数据？是否需要将其重新调整到[-1, 1]（tanh的范围），还是可以保持在[0, 1]范围内？

哪种方法更好？为什么？有什么一般性的指导原则吗？

回答：

你不需要为不同的激活函数使用不同的归一化方法。事实上，对于sigmoid激活函数，你不需要将输入归一化到[0, 1]。sigmoid的输出范围是[0, 1]，但它的输入范围（定义域）实际上是从负无穷到正无穷。

更重要的是，你的输入不会直接进入sigmoid函数，因此你的图像输入的范围与sigmoid函数接收的输入范围并不相同。中间会有一些线性层改变数据的范围。

一般建议是将输入归一化到[-1, 1]。这与激活函数无关，而是一种有效的反向传播的一般措施。参见Effective BackProp。