假设我想使用堆叠自编码器作为预训练步骤。
假设我的完整自编码器结构是40-30-10-30-40。
我的步骤如下：
- 使用原始的40个特征数据集在输入和输出层上训练一个40-30-40的自编码器。
- 仅使用上述训练好的编码器部分，即40-30编码器，推导出原始40个特征的新30特征表示。
- 使用步骤2中推导出的新30特征数据集在输入和输出层上训练一个30-10-30的自编码器。
- 取步骤1中训练好的40-30编码器，并将其输入到步骤3中的30-10编码器，得到一个40-30-10的编码器。
- 取步骤4中的40-30-10编码器，并将其用作神经网络的输入。
a) 这样做对吗？
b) 在训练神经网络时，是否需要冻结40-30-10编码器的权重，这相当于预先生成从原始40特征数据集中的10特征表示，并在新的10特征表示数据集上进行训练。
附注：我已经发布了一个问题，询问是否需要将编码器和解码器的权重绑定在一起
回答：
a) 这样做对吗？
这是典型的方法之一。你也可以尝试直接拟合自编码器，作为“原始”自编码器的多层结构应该可以直接拟合。作为替代方案，你可以考虑拟合堆叠去噪自编码器，这可能会更适合“堆叠”训练方式。
b) 在训练神经网络时，是否需要冻结40-30-10编码器的权重，这相当于预先生成从原始40特征数据集中的10特征表示，并在新的10特征表示数据集上进行训练。
在训练整个神经网络时，你不需要冻结任何东西。预训练只是优化过程的一种预处理——你告诉方法从哪里开始，但你不希望限制实际监督学习的拟合过程。
附注：我已经发布了一个问题，询问是否需要将编码器和解码器的权重绑定在一起
不需要绑定权重，特别是因为你实际上是丢弃了你的解码器。绑定权重对于某些更具概率性的模型来说是重要的，以便使最小化过程成为可能（如在RBM的情况下），但对于自编码器来说没有必要。
