我在学习使用一些预训练模型（如vgg16, vgg19等）进行迁移学习，我很好奇为什么需要加载预训练权重来训练我自己的数据集。

如果我的数据集中的类别包含在预训练模型所使用的训练数据集中，我可以理解这种做法。例如，VGG模型是在ImageNet数据集的1000个类别上训练的，而我的模型是用于分类猫和狗，这些类别也包含在ImageNet数据集中。但在我的数据集中，类别并不在这些数据集中。那么，预训练权重如何帮助呢？

回答：

你不需要使用预训练网络来训练你的任务模型。然而，在实践中，使用预训练网络并将其重新训练到你的任务/数据集上通常会更快，而且你往往会得到更好的模型，具有更高的准确性。特别是如果你没有很多训练数据时，情况更是如此。

为什么更快？

事实证明，无论数据集和目标类别如何，前几层的收敛结果通常是相似的。这是因为低级层通常充当边缘、角和其他简单结构的检测器。查看这个例子，它展示了不同层级的过滤器“反应”的结构。已经训练了低层之后，调整高层以适应你的用例会快得多。

为什么更准确？

这个问题更难回答。在我看来，这是因为你用作迁移学习基础的预训练模型是在庞大的数据集上训练的。这意味着所获取的知识会流入你重新训练的网络中，帮助你找到损失函数的更好的局部最小值。

如果你有大量的训练数据，你应该从头开始训练模型，因为预训练模型可能会“引导你走向错误的方向”。在这篇硕士论文中，你可以找到一系列任务（小数据集、中等数据集、小语义差距、大语义差距）的比较，比较了三种方法：微调、特征提取+支持向量机、从头开始。微调在ImageNet上预训练的模型几乎总是更好的选择。