假设我有一个模型
from tensorflow.keras.applications import DenseNet201base_model = DenseNet201(input_tensor=Input(shape=basic_shape))model = Sequential()model.add(base_model)model.add(Dense(400))model.add(BatchNormalization())model.add(ReLU())model.add(Dense(50, activation='softmax'))model.save('test.hdf5')
然后我加载保存的模型,并尝试使DenseNet201
的最后40层可训练,前161层不可训练:
saved_model = load_model('test.hdf5')cnt = 44saved_model.trainable = False while cnt > 0: saved_model.layers[-cnt].trainable = True cnt -= 1
但实际上这不起作用,因为DenseNet201
被视为单一层,我只是得到了索引超出范围的错误。
Layer (type) Output Shape Param # =================================================================densenet201 (Functional) (None, 1000) 20242984 _________________________________________________________________dense (Dense) (None, 400) 400400 _________________________________________________________________batch_normalization (BatchNo (None, 400) 1600 _________________________________________________________________re_lu (ReLU) (None, 400) 0 _________________________________________________________________dense_1 (Dense) (None, 50) 20050 =================================================================Total params: 20,665,034Trainable params: 4,490,090Non-trainable params: 16,174,944
问题是如何在加载的模型上实际使DenseNet的前161层不可训练,最后40层可训练?
回答:
densenet201 (Functional)
是一个嵌套模型,因此您可以像访问最顶层模型的层一样访问它的层。
saved_model.layers[0].layers
其中saved_model.layers[0]
是一个拥有自己层的模型。
在您的循环中,您需要这样访问层
saved_model.layers[0].layers[-cnt].trainable = True
更新
默认情况下,加载的模型的层是可训练的(trainable=True
),因此您需要将底层层的trainable
属性设置为False
。