我正在训练一个每层自编码器包含3层的堆叠去噪自编码器。我的目标是通过使用堆叠去噪自编码器进行图像分类。
我用来创建图像段的方法如下：
- 将整个图像分割成8×8的块
- 将块调整大小为1×64
- 随机选择块（例如：取模7或其他方式）并插入到TrainingMatrix中
训练自编码器的步骤：
- TrainingMatrix的维度：[10000×64]（即10000个64维的训练样本）
- 3层系统：[64 -> 32 -> 64]
- 用高斯噪声破坏每个训练样本
- 训练一个神经网络，输入为[受损输入]，输出为[未受损数据]，然后进行反向传播
对于下一个DAE，我应该使用最后一层的权重（即第2层到第3层）来训练下一层吗？还是我需要通过网络运行另一个样本，然后用它来训练下一层？如果我们使用第2层到第3层的权重，我们不是只有一个样本集来训练下一个自编码器吗？如果是这样的话，权重不就是权重矩阵的随机生成的初始值吗？
堆叠DAE层后的最终步骤：
- 将最终的DAE层通过一个监督层，如SVM
如果这听起来像是一个琐碎的问题，我很抱歉。
回答：
我对堆叠去噪自编码器的理解是，你首先用反向传播训练第一个自编码器（即64 -> 32 -> 64），以无噪声输入作为输出，就像训练一个典型的神经网络一样，然后将数据通过第一层压缩到32维空间，并重复相同的过程（即32 -> 16 -> 32），然后继续前进。你可以再添加一层。你理论上还可以在网络上进行某种微调，因为你也可以形成一个64 -> 32 -> 16 -> 32 -> 64的网络并微调参数，但这可能不是必要的。
在这些步骤之后，你将64维空间的输入数据通过64 -> 32 -> 16 -> 你的分类器。如果你想使用神经网络作为分类器，你可以在之后继续添加更多层，然后对整个网络进行反向传播，从而获得更好的结果。关于堆叠去噪自编码器的原始工作在这里（PDF）。
顺便提一下，如果你考虑使用SVM，我认为这被称为学习核函数，但我没有相关的参考资料。
