我知道通常的CNN包含卷积层和池化层。池化层会使输出变小,这意味着计算量减少,同时它们还使输出具有一定的变换不变性,因此,来自卷积核的特征在原始图像中的位置可以稍微移动。
但是,如果我不使用池化层会发生什么?原因可能是我想为原始图像的每个像素生成一个特征向量,因此卷积层的输出必须与图像大小相同,只是增加了更多的通道。这样做有意义吗?这些特征向量中是否仍然包含有用的信息,或者在CNN中使用池化层是必要的?或者是否有方法在使用池化层的情况下获取各个像素的特征向量?
回答:
卷积特征图,无论是早期的还是后期的,都包含了大量有用的信息。许多有趣且有用的应用正是基于预训练CNN的特征图,例如Google Deep Dream和Neural Style。一个常见的预训练模型选择是VGGNet,因为其简洁性。
另外,请注意一些CNN,例如全卷积网络,用卷积层替代了池化层。它们通过步长进行降采样,但完全避免了最大池化或平均池化操作。这种理念已变得流行,并应用于许多现代CNN架构中。
唯一的问题是没有降采样的CNN可能更难训练。你需要足够的训练数据,其中标签是图像(我假设你有),并且你还需要一些聪明的损失函数用于反向传播。当然,你可以从像素差异的L2范数开始,但这真的取决于你要解决的问题。
我的建议是采用现有的预训练CNN(例如用于TensorFlow的VGGNet),只保留前两个卷积层,直到第一次降采样。这是一种快速尝试这种架构的方式。