在Keras中替换MobileNet应用程序中的步长层

我想在Keras中使用MobileNetV2对大小为39 x 39的图像进行分类,分类类别为3类。我的图像表示热图(例如,键盘上按下了哪些键)。我认为MobileNet设计用于处理大小为224 x 224的图像。我不会使用迁移学习,而是从头开始训练模型。

为了使MobileNet能够处理我的图像,我希望将前三个步长为2的卷积替换为步长为1的卷积。我有以下代码:

from tensorflow.keras.applications import MobileNetV2base_model = MobileNetV2(weights=None, include_top=False,                          input_shape=[39,39,3])x = base_model.outputx = GlobalAveragePooling2D()(x)x = Dropout(0.5)(x)output_tensor = Dense(3, activation='softmax')(x)cnn_model = Model(inputs=base_model.input, outputs=output_tensor)opt = Adam(lr=learning_rate)cnn_model.compile(loss='categorical_crossentropy',              optimizer=opt, metrics=['accuracy', tf.keras.metrics.AUC()])

如何在不自己构建MobileNet的情况下,将前三个步长为2的卷积替换为步长为1的卷积?


回答:

这里有一个解决方案来满足你的需求,但我认为可能有更通用的方法。然而,在MobileNetV2中,只有一个conv层具有strides 2。如果你查看源代码,这里

 x = layers.Conv2D(      first_block_filters,      kernel_size=3,      strides=(2, 2),      padding='same',      use_bias=False,      name='Conv1')(img_input)  x = layers.BatchNormalization(      axis=channel_axis, epsilon=1e-3, momentum=0.999, name='bn_Conv1')(          x)  x = layers.ReLU(6., name='Conv1_relu')(x)

其余的块定义如下

  x = _inverted_res_block(      x, filters=16, alpha=alpha, stride=1, expansion=1, block_id=0)  x = _inverted_res_block(      x, filters=24, alpha=alpha, stride=2, expansion=6, block_id=1)  x = _inverted_res_block(      x, filters=24, alpha=alpha, stride=1, expansion=6, block_id=2)

所以,这里我将处理第一个conv层,其stride=(2, 2)。想法很简单,我们将在内置模型的正确位置添加一个新层,然后移除所需的层。

def _make_divisible(v, divisor, min_value=None):    if min_value is None:        min_value = divisor    new_v = max(min_value, int(v + divisor / 2) // divisor * divisor)    # 确保向下取整不会降低超过10%。    if new_v < 0.9 * v:        new_v += divisor    return new_valpha = 1.0first_block_filters = _make_divisible(32 * alpha, 8)inputLayer = tf.keras.Input(shape=(39, 39, 3), name="inputLayer")inputcOonv = tf.keras.layers.Conv2D(                first_block_filters,                kernel_size=3,                strides=(1, 1),                padding='same',                use_bias=False,                name='Conv1_'        )(inputLayer)

上述_make_divisible函数直接从源代码中派生出来。无论如何,现在我们将这个层添加到MobileNetV2中,紧接在第一个conv层之前,如下所示:

base_model = tf.keras.applications.MobileNetV2(weights=None,                             include_top=False,                             input_tensor = inputcOonv)x = base_model.outputx = GlobalAveragePooling2D()(x)x = Dropout(0.5)(x)output_tensor = Dense(3, activation='softmax')(x)cnn_model = Model(inputs=base_model.input, outputs=output_tensor)

现在,如果我们观察

for i, l in enumerate(cnn_model.layers):    print(l.name, l.output_shape)    if i == 8: breakinputLayer [(None, 39, 39, 3)]Conv1_ (None, 39, 39, 32)Conv1 (None, 20, 20, 32)bn_Conv1 (None, 20, 20, 32)Conv1_relu (None, 20, 20, 32)expanded_conv_depthwise (None, 20, 20, 32)expanded_conv_depthwise_BN (None, 20, 20, 32)expanded_conv_depthwise_relu (None, 20, 20, 32)expanded_conv_project (None, 20, 20, 16)

层名称Conv1_Conv1分别是新层(步长为1)和旧层(步长为2)。正如我们所需的,现在我们移除步长为2Conv1层,如下所示:

cnn_model._layers.pop(2) # 移除 Conv1for i, l in enumerate(cnn_model.layers):    print(l.name, l.output_shape)    if i == 8: breakinputLayer [(None, 39, 39, 3)]Conv1_ (None, 39, 39, 32)bn_Conv1 (None, 20, 20, 32)Conv1_relu (None, 20, 20, 32)expanded_conv_depthwise (None, 20, 20, 32)expanded_conv_depthwise_BN (None, 20, 20, 32)expanded_conv_depthwise_relu (None, 20, 20, 32)expanded_conv_project (None, 20, 20, 16)expanded_conv_project_BN (None, 20, 20, 16)

现在,你的cnn_model模型的第一个conv层步长为1。但是,如果你对这种方法及其可能的问题有疑问,请查看我与此相关的另一个回答。如何从Keras模型中移除前N个层?

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注