给定几个包含.wav音频文件的目录,我已经提取了它们的特征,形成了一个三维数组(批次,步骤,特征)。
在我的案例中,训练数据集的维度是(1883,100,136)。基本上,每个音频文件都被分析了100次(可以想象为1fps),每次分析提取了136个特征。然而,这些音频文件的长度不同,因此有些文件无法被分析100次。
例如,其中一个音频文件有效地提取了50组136个特征,所以剩下的50组被填充为零。
这是我的模型。
def LSTM_model_building(units=200,learning_rate=0.005,epochs=20,dropout=0.19,recurrent_dropout=0.2): model = tf.keras.models.Sequential() model.add(tf.keras.layers.Bidirectional(LSTM(units, dropout=dropout, recurrent_dropout=recurrent_dropout, input_shape=(X_train.shape[0],100, 136))))# model.add(tf.keras.layers.Bidirectional(LSTM(32))) model.add(Dense(num_classes, activation='softmax')) adamopt = tf.keras.optimizers.Adam(lr=learning_rate, beta_1=0.9, beta_2=0.999, epsilon=1e-8) opt = tf.keras.optimizers.RMSprop(lr=learning_rate, rho=0.9, epsilon=1e-6)# opt = tf.keras.optimizers.SGD(lr=learning_rate, momentum=0.9, decay=0., nesterov=False) model.compile(loss='categorical_crossentropy', optimizer=adamopt, metrics=['accuracy']) history = model.fit(X_train, y_train, batch_size=batch_size, epochs=epochs, validation_data=(X_test, y_test), verbose = 1) score, acc = model.evaluate(X_test, y_test, batch_size=batch_size) return history
我希望掩盖填充部分,然而,Keras网站上的指南使用了embedding layer
,我认为这通常用于NLP。我不知道如何在我的模型中使用embedding layer
。
有谁能教我如何在我的LSTM模型中应用掩盖吗?
回答:
Embedding
层不适合你的情况。你可以考虑使用Masking
层。它可以简单地集成到你的模型结构中,如下所示。
我还想提醒你,在顺序模型的第一层必须指定输入形状。还要记住,你不需要传递样本维度。在你的情况下,输入形状是(100,136)
,相当于(timesteps,n_features)
units,learning_rate,dropout,recurrent_dropout = 200,0.005,0.19,0.2num_classes = 3model = tf.keras.models.Sequential()model.add(tf.keras.layers.Masking(mask_value=0.0, input_shape=(100,136)))model.add(tf.keras.layers.Bidirectional(LSTM(units, dropout=dropout, recurrent_dropout=recurrent_dropout)))model.add(Dense(num_classes, activation='softmax'))adamopt = tf.keras.optimizers.Adam(lr=learning_rate, beta_1=0.9, beta_2=0.999, epsilon=1e-8)opt = tf.keras.optimizers.RMSprop(lr=learning_rate, rho=0.9, epsilon=1e-6)model.compile(loss='categorical_crossentropy', optimizer=adamopt, metrics=['accuracy'])model.summary()