我读过的许多论文中都提到“预训练网络可以提高反向传播错误时的计算效率”，并且可以使用RBMs或自编码器来实现这一点。
-
如果我理解正确的话，自编码器通过学习恒等函数来工作，如果其隐藏单元的数量少于输入数据的大小，那么它也进行压缩，但这与提高反向传播错误信号的计算效率有什么关系呢？是因为预训练的隐藏单元的权重不会与其初始值相差太大吗？
-
假设阅读这篇文章的数据科学家们已经知道自编码器将输入作为目标值，因为它们在学习恒等函数，这被视为无监督学习，但这种方法能否应用于卷积神经网络，其第一隐藏层是特征图？每个特征图是通过将学习的核与图像中的感受野进行卷积而创建的。这个学习的核，如何通过预训练（无监督方式）获得？
回答：
需要注意的是，自编码器试图学习非平凡的恒等函数，而不是恒等函数本身。否则它们根本不会有用。预训练有助于将权重向量移动到错误表面的一个良好起点。然后使用反向传播算法，它基本上是在进行梯度下降，来改进这些权重。请注意，梯度下降会陷入最接近的局部最小值。
[忽略图片中提到的全局最小值一词，将其视为另一个更好的局部最小值]
从直觉上讲，假设你在寻找从起点A到终点B的最佳路径。拥有一张没有显示路线的地图（你在神经网络模型的最后一层获得的错误）大致上告诉你该去哪里。但你可能会选择一条有很多障碍、上坡和下坡的路线。然后假设有人告诉你他之前走过的一条路线和方向（预训练），并递给你一张新地图（预训练阶段的起点）。
这可能是一个直观的理由，说明为什么从随机权重开始并立即使用反向传播来优化模型不一定能达到使用预训练模型所获得的性能。然而，请注意，许多达到最先进结果的模型并不一定使用预训练，它们可能结合其他优化方法（例如，adagrad、RMSProp、动量等）使用反向传播，以希望避免陷入糟糕的局部最小值。
这里是第二张图片的来源。
