如何在用于语音情感识别的LSTM模型中掩盖填充

给定几个包含.wav音频文件的目录,我已经提取了它们的特征,形成了一个三维数组(批次,步骤,特征)。

在我的案例中,训练数据集的维度是(1883,100,136)。基本上,每个音频文件都被分析了100次(可以想象为1fps),每次分析提取了136个特征。然而,这些音频文件的长度不同,因此有些文件无法被分析100次。

例如,其中一个音频文件有效地提取了50组136个特征,所以剩下的50组被填充为零。

这是我的模型。

def LSTM_model_building(units=200,learning_rate=0.005,epochs=20,dropout=0.19,recurrent_dropout=0.2):    model = tf.keras.models.Sequential()    model.add(tf.keras.layers.Bidirectional(LSTM(units, dropout=dropout, recurrent_dropout=recurrent_dropout, input_shape=(X_train.shape[0],100, 136))))#     model.add(tf.keras.layers.Bidirectional(LSTM(32)))    model.add(Dense(num_classes, activation='softmax'))        adamopt = tf.keras.optimizers.Adam(lr=learning_rate, beta_1=0.9, beta_2=0.999, epsilon=1e-8)    opt = tf.keras.optimizers.RMSprop(lr=learning_rate, rho=0.9, epsilon=1e-6)#     opt = tf.keras.optimizers.SGD(lr=learning_rate, momentum=0.9, decay=0., nesterov=False)        model.compile(loss='categorical_crossentropy',                  optimizer=adamopt,                  metrics=['accuracy'])    history = model.fit(X_train, y_train,              batch_size=batch_size,              epochs=epochs,              validation_data=(X_test, y_test),                        verbose = 1)    score, acc = model.evaluate(X_test, y_test,                                batch_size=batch_size)    return history

我希望掩盖填充部分,然而,Keras网站上的指南使用了embedding layer,我认为这通常用于NLP。我不知道如何在我的模型中使用embedding layer

有谁能教我如何在我的LSTM模型中应用掩盖吗?


回答:

Embedding层不适合你的情况。你可以考虑使用Masking 。它可以简单地集成到你的模型结构中,如下所示。

我还想提醒你,在顺序模型的第一层必须指定输入形状。还要记住,你不需要传递样本维度。在你的情况下,输入形状是(100,136),相当于(timesteps,n_features)

units,learning_rate,dropout,recurrent_dropout = 200,0.005,0.19,0.2num_classes = 3model = tf.keras.models.Sequential()model.add(tf.keras.layers.Masking(mask_value=0.0, input_shape=(100,136)))model.add(tf.keras.layers.Bidirectional(LSTM(units, dropout=dropout, recurrent_dropout=recurrent_dropout)))model.add(Dense(num_classes, activation='softmax'))adamopt = tf.keras.optimizers.Adam(lr=learning_rate, beta_1=0.9, beta_2=0.999, epsilon=1e-8)opt = tf.keras.optimizers.RMSprop(lr=learning_rate, rho=0.9, epsilon=1e-6)model.compile(loss='categorical_crossentropy',              optimizer=adamopt,              metrics=['accuracy'])model.summary()

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注