我有两个模型的初始化代码如下
vgg19 = keras.applications.vgg19.VGG19( weights='imagenet', include_top=False, input_shape=(img_height, img_width, img_channels))for layer in vgg19.layers: layer.trainable = Falsemodel = Sequential(layers=vgg19.layers)model.add(Flatten())model.add(Dense(1024, activation='relu'))model.add(Dense(512, activation='relu'))model.add(Dense(10, activation='softmax'))opt = Adam(learning_rate=0.001, beta_1=0.9)model.compile( loss='categorical_crossentropy', optimizer=opt, metrics=['accuracy'])和
vgg19_2 = keras.applications.vgg19.VGG19( weights='imagenet', include_top=False, input_shape=(img_height, img_width, img_channels))model2 = Sequential(layers=vgg19_2.layers)model2.add(Dense(1024, activation='relu'))model2.add(Dense(512, activation='relu'))model2.add(Dense(10, activation='softmax'))opt = Adam(learning_rate=0.001, beta_1=0.9)model2.compile( loss='categorical_crossentropy', optimizer=opt, metrics=['accuracy'])换句话说，唯一的区别是第二个模型没有将 vgg19 层的可训练参数设置为 false。不幸的是，设置为可训练的模型无法学习数据。
当我使用 model.fit 时，得到的结果是
可训练参数设置为 false:Epoch 1/512500/2500 [==============================] - 49s 20ms/step - loss: 1.4319 - accuracy: 0.5466 - val_loss: 1.3951 - val_accuracy: 0.5693Epoch 2/512500/2500 [==============================] - 47s 19ms/step - loss: 1.1508 - accuracy: 0.6009 - val_loss: 0.7832 - val_accuracy: 0.6023Epoch 3/512500/2500 [==============================] - 48s 19ms/step - loss: 1.0816 - accuracy: 0.6256 - val_loss: 0.6782 - val_accuracy: 0.6153Epoch 4/512500/2500 [==============================] - 47s 19ms/step - loss: 1.0396 - accuracy: 0.6450 - val_loss: 1.3045 - val_accuracy: 0.6103该模型在几个 epoch 内训练到约 65% 的准确率。然而，使用应该能够做出更好预测的 model2（因为有更多的可训练参数），我得到的结果是：
Epoch 1/52500/2500 [==============================] - 226s 90ms/step - loss: 2.3028 - accuracy: 0.0980 - val_loss: 2.3038 - val_accuracy: 0.1008Epoch 2/52500/2500 [==============================] - 311s 124ms/step - loss: 2.3029 - accuracy: 0.0980 - val_loss: 2.2988 - val_accuracy: 0.1017Epoch 3/52500/2500 [==============================] - 306s 123ms/step - loss: 2.3029 - accuracy: 0.0980 - val_loss: 2.3052 - val_accuracy: 0.0997Epoch 4/52500/2500 [==============================] - 321s 129ms/step - loss: 2.3029 - accuracy: 0.0972 - val_loss: 2.3028 - val_accuracy: 0.0997Epoch 5/52500/2500 [==============================] - 300s 120ms/step - loss: 2.3028 - accuracy: 0.0988 - val_loss: 2.3027 - val_accuracy: 0.1007当我尝试计算我的数据上的权重梯度时，得到的全是零。我理解训练像 vgg 这样的大型神经网络达到最优可能需要很长时间，但考虑到最后三层的计算梯度在两种情况下应该非常相似，为什么准确率这么低？继续训练更长时间也没有改善。
回答：
试试这个方法：
- 训练第一个模型，将
trainable设置为False。你不需要训练到饱和，所以我建议从你的5个 epoch 开始。 - 然后返回并将所有
vgg19参数的trainable设置为True。然后，根据文档，你可以重建并重新编译模型以使这些更改生效。 - 继续训练重建后的模型，现在所有参数都可用于调整。
在迁移学习中，完全冻结传输层以保持其状态是非常常见的。在训练你额外层的早期阶段，这些层不知道该做什么。这意味着当梯度传到传输层时会变得嘈杂，这将很快使它们偏离先前经过良好调整的权重。
将所有内容整合成一些代码，看起来会像这样。
# 原始代码。传输 VGG 并冻结权重。vgg19 = keras.applications.vgg19.VGG19( weights='imagenet', include_top=False, input_shape=(img_height, img_width, img_channels))for layer in vgg19.layers: layer.trainable = Falsemodel = Sequential(layers=vgg19.layers)model.add(Flatten())model.add(Dense(1024, activation='relu'))model.add(Dense(512, activation='relu'))model.add(Dense(10, activation='softmax'))opt = Adam(learning_rate=0.001, beta_1=0.9)model.compile( loss='categorical_crossentropy', optimizer=opt, metrics=['accuracy'])model.fit()# 新第二阶段：解冻并继续训练。for layer in vgg19.layers: layer.trainable = Truefull_model = Sequential(layers=model.layers)full_model.compile( loss='categorical_crossentropy', optimizer=opt, metrics=['accuracy'])full_model.fit()你可能需要调整微调阶段的学习率。这不是必需的，只是需要记住的一点。
第三种选择是使用 Jeremy Howard 和 Sebastian Ruder 在 ULMFiT 论文中引入的区分性学习率。该观点是在迁移学习中，你通常希望后面的层比早期的传输层学得更快。因此，你实际上为不同的层设置不同的学习率。fastai 库有一个 PyTorch 实现，通过将模型分为“层组”并允许为每个组设置不同的参数来实现这一点。
