为什么在为神经网络预处理图像数据时,我们需要进行零中心化数据处理?这是为什么呢?
回答:
均值减法或零中心化是一种常见的预处理技术,涉及到从每个数据点中减去均值,使其成为零中心。考虑这样一种情况,神经元的输入全部为正或全部为负。在这种情况下,反向传播过程中计算的梯度将全部为正或全部为负(与输入的符号相同)。因此,参数更新仅限于特定的方向,这反过来会使其难以收敛。结果,梯度更新在不同的方向上走得太远,使优化变得更加困难。当数据集是对称的(零均值)时,许多算法表现出更好的性能。
为什么在为神经网络预处理图像数据时,我们需要进行零中心化数据处理?这是为什么呢?
回答:
均值减法或零中心化是一种常见的预处理技术,涉及到从每个数据点中减去均值,使其成为零中心。考虑这样一种情况,神经元的输入全部为正或全部为负。在这种情况下,反向传播过程中计算的梯度将全部为正或全部为负(与输入的符号相同)。因此,参数更新仅限于特定的方向,这反过来会使其难以收敛。结果,梯度更新在不同的方向上走得太远,使优化变得更加困难。当数据集是对称的(零均值)时,许多算法表现出更好的性能。