我在深度学习领域还是个新手,我想知道为什么在变分自编码器(VAE)中要将编码器的最后一层展平,然后将展平后的输出传递给一个线性层,这个线性层随后近似计算先验分布的位置和尺度参数?我们不能直接分割卷积层的输出并从中直接获取位置和尺度吗,或者卷积捕捉的空间信息会干扰尺度和位置吗?
非常感谢!
回答:
为什么要在变分自编码器中展平编码器的最后一层?
除了便于打印或报告之外,没有特别好的理由。如果在展平之前编码器的形状是 [BatchSize,2,2,32],将其展平为 [BatchSize,128] 只是为了方便列出每个样本的所有128个编码值。当解码器随后将它重塑为 [BatchSize,2,2,32] 时,所有的空间信息都被放回原处。没有丢失任何空间信息。
当然,有人可能会决定使用训练好的VAE的编码器作为图像特征提取器。这实际上在我们有大量未标记的图像来训练VAE,但只有少数标记的图像时非常有用。在用大量未标记的图像集训练VAE之后,编码器实际上变成了一个特征提取器。然后我们可以将特征提取器输入到一个密集层,其目的是学习标签。在这种情况下,编码器输出一个展平的数据集是非常有用的。