我似乎找不到这个问题的确切答案。我目前正在从VGG19网络进行迁移学习，我的目标领域是文档分类（无论是单纯的视觉分类还是使用CNN的特征提取用于另一个模型）。我想了解在哪些情况下希望保留模型的所有全连接层，而在哪些情况下应该移除全连接层，并在最后一个卷积层上添加一个新的全连接层。这些选择对训练、预测等分别意味着什么？
以下是使用Keras的代码示例来说明我的意思：
提取最后一个全连接层：
original_model = VGG19(include_top=True, weights='imagenet', input_shape=(224, 224, 3))layer_name = 'fc2'x = Dropout(0.5)(original_model.get_layer(layer_name).output)x = BatchNormalization()(x)predictions = Dense(num_classes, activation='softmax')(x)features_model = Model(inputs=original_model.input, outputs=predictions)adam = optimizers.Adam(lr=0.001)features_model.compile(optimizer=adam, loss='categorical_crossentropy', metrics=['accuracy'])features_model.summary()return features_model在最后一个卷积层之后添加一个全连接层：
original_model = VGG19(include_top=False, weights='imagenet', input_shape=(224, 224, 3))x = Flatten()(base_model.output)x = Dense(4096, activation='relu')(x)x = Dropout(0.5)(x)x = BatchNormalization()(x)predictions = Dense(num_classes, activation='softmax')(x)head_model = Model(input=base_model.input, output=predictions)adam = optimizers.Adam(lr=0.001)head_model.compile(optimizer=adam, loss='categorical_crossentropy', metrics=['accuracy'])head_model.summary()return head_model在进行迁移学习时，选择什么样的方法是否有经验法则？
回答：
根据我过去的经验，从股票市场到商业预测的迁移学习应用成功，你应该保留原始结构，因为如果你在进行迁移学习，你会希望加载从原始结构训练的权重，避免由于神经网络架构差异而产生的问题。然后，你可以解冻CNN的部分，并开始从高精度开始训练你的神经网络，并为目标问题调整权重。
然而，如果你移除Flatten层，计算成本会降低，因为你需要训练的参数会更少。
我遵循尽可能保持神经网络简单的规则（等于更大的泛化特性），并具有高效率。
@隐藏人名，作为对你评论的补充，关于你需要多少数据，这取决于你的数据的方差。方差越大，你需要更多的层和权重来学习细节。然而，当你增加架构的复杂性时，你的神经网络更容易过拟合，可以通过使用Dropout等方法来减少过拟合的风险。
由于全连接层是神经网络中成本较高的部分，如果你添加一个或两个这样的层，你的参数数量会大幅增加，需要更多的时间来训练。增加更多的层可以获得更高的精度，但可能会导致过拟合。
例如，MNIST使用10,000个示例可以达到超过99%的精度，采用相当简单的架构。然而，IMAGENET有1,000,000个示例（155 GB），因此需要更复杂的结构，如VGG16。
