进行“迁移学习”或对Inception模型进行“重新训练”的常见方法是从模型中提取瓶颈层，将瓶颈张量压缩成一个平坦的2048神经元层，然后添加一个最终层，其神经元数量与要分类的类别数量相匹配（最终通常使用softmax）。
我的问题是：为什么不将这些高度抽象的2048特征输入到SVM中进行训练，而不是作为神经网络的一部分来训练瓶颈层，这样可能会取得更好的结果？
非常感谢！
回答：
现在的趋势是进行端到端的学习，而不是让模型学习某种抽象表示，然后将这种表示输入到另一个模型中（例如SVM）。
这种趋势背后的直觉如下：如果你在一个子任务S1上优化模型A，在另一个子任务S2上优化模型B，这两个模型都会收敛到某个局部最优解。两个局部最优解的组合预计会比在完整任务S = (S1 + S2)上优化所获得的最优解要差。当你进行端到端的模型优化时，你可以调整模型的所有部分，以更好地解决任务。然而，当你将模型分开并分别训练其不同部分时，你就“打破”了各部分之间的直接“信号”，使得为了改善模型B的结果而优化模型A的输出变得更加困难，因为你没有直接的方法来同时优化这两个模型。
你提出的方法在过去相当流行。例如，Girshick的原始RCNN论文使用预训练的卷积神经网络提取特征，然后将这些特征输入到SVM中进行分类。
然而，这种方法在R-CNN的下一版本，即Fast RCNN中被放弃，SVM步骤被softmax取代。在《Fast R-CNN》的第5.4节表8中，作者比较了使用SVM和softmax的相同模型，并得出结论，softmax略优于SVM版本。
