来自dropout论文：

“我们的想法是在测试时使用一个没有dropout的神经网络。这张网络的权重是训练权重的缩小版本。如果一个单元在训练期间以概率p被保留，那么在测试时这个单元的输出权重将乘以p，如图2所示。这确保了对于任何隐藏单元，其预期输出（在训练时用于丢弃单元的分布下）与测试时的实际输出相同。”

为什么我们想要保持预期输出？如果我们使用ReLU激活函数，权重或激活的线性缩放会导致网络输出的线性缩放，并且不会对分类准确性产生任何影响。

我错过了什么？

回答：

确切地说，我们想要保持的不是“预期输出”，而是输出的期望值，也就是说，我们希望通过保持输出的平均（期望）值来弥补训练（当我们不传递某些节点的值时）和测试阶段的差异。

在使用ReLU激活函数的情况下，这种缩放确实会导致输出的线性缩放（当它们为正时），但你为什么认为这不会影响分类模型的最终准确性呢？至少在最后，我们通常会应用非线性的softmax或sigmoid，它们依赖于这种缩放。