- 我正在处理一个NLP数据集。
- 我有一个数据集，想要训练一个分类问题（有5个类别），在这一阶段之后，我希望使用训练好的模型在测试数据上生成嵌入向量，这些向量将用于聚类算法。
我构建了以下模型：
model = Sequential()model.add(layers.Embedding(input_dim=14000, output_dim=100, input_length=100))model.add(layers.Conv1D(filters=32, kernel_size=8, activation='relu'))model.add(layers.GlobalMaxPooling1D())model.add(layers.Flatten())model.add(layers.Dense(10, activation='relu'))model.add(layers.Dense(5, activation='softmax'))model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])Model: "sequential"_________________________________________________________________Layer (type) Output Shape Param # =================================================================embedding (Embedding) (None, 100, 100) 1470700 _________________________________________________________________conv1d (Conv1D) (None, 93, 32) 25632 _________________________________________________________________global_max_pooling1d (Global (None, 32) 0 _________________________________________________________________flatten (Flatten) (None, 32) 0 _________________________________________________________________dense (Dense) (None, 10) 330 _________________________________________________________________dense_1 (Dense) (None, 5) 55 =================================================================Total params: 1,496,717Trainable params: 1,496,717Non-trainable params: 0_________________________________________________________________-
在用训练数据拟合模型后，我想要预测测试数据并获取Flatten层后的值（权重），我希望将这些权重用作聚类算法的输入。
for i, val in enumerate(X_test_text): y_predict = model.predict(X_test_text[i:i+1]) embedding = XXX_get_wights_XXX(i: ?? -
我在预测后检查了权重值，发现结果向量的长度与我预期的不同：
- 为什么
model.get_layer("flatten").get_weights()返回一个长度为0的列表？（我确信这一层将被用作嵌入层，并会给我一个32个值的向量） - 为什么
model.get_layer("dense").get_weights()[0].shape返回一个包含两个值的元组(32, 10)？为什么元组包含两个值而不是一个值？（只是32？） - 获取每个预测值的32个权重向量（在Flatten层之后）的正确方法是什么？
回答：
您在寻找模型输出而不是模型权重。要从您的Flatten层获取模型输出，您只需初始化一个新模型来提取并生成您想要的输出…
model = Sequential()model.add(layers.Embedding(input_dim=14000, output_dim=100, input_length=100))model.add(layers.Conv1D(filters=32, kernel_size=8, activation='relu'))model.add(layers.GlobalMaxPooling1D())model.add(layers.Flatten())model.add(layers.Dense(10, activation='relu'))model.add(layers.Dense(5, activation='softmax'))model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['accuracy'])# model.fit(X_train,y_train, ...)从Flatten层获取模型输出：
n_sample = 20X_test = np.random.randint(0,14000, (n_sample, 100))from tensorflow.keras.models import Modelintermediate_model = Model(model.inputs, model.get_layer("flatten").output)intermediate_model.predict(X_test).shape # (n_sample, 32)附注：在GlobalMaxPooling之后使用Flatten是没有意义的，因为GlobalMaxPooling的输出是二维的
