如何在Python的Keras中为LSTM添加dropout和attention

我有一个包含约1000个节点的数据集,每个节点有4个时间序列。每个时间序列的长度均为6。标签为0或1(即二元分类)。

更具体地说,我的数据集如下所示。

node, time-series1, time_series2, time_series_3, time_series4, Labeln1, [1.2, 2.5, 3.7, 4.2, 5.6, 8.8], [6.2, 5.5, 4.7, 3.2, 2.6, 1.8], …, 1n2, [5.2, 4.5, 3.7, 2.2, 1.6, 0.8], [8.2, 7.5, 6.7, 5.2, 4.6, 1.8], …, 0and so on.

在将时间序列输入到我的LSTM模型进行分类之前,我会对其进行normalise处理。

model = Sequential()model.add(LSTM(10, input_shape=(6,4)))model.add(Dense(32))model.add(Dense(1, activation='sigmoid'))model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])print(data.shape) # (1000, 6, 4)model.fit(data, target)

我刚开始使用Keras,所以从最简单的LSTM模型开始。然而,现在我想将其提升到可以用于工业级别的水平。

我读到在LSTM模型中添加dropoutattention层是个好主意。请告诉我是否认为添加这些层适合我的问题,如果适合,如何操作?:)

注意:我不限于dropout和attention层,乐于接受其他可以改善模型的建议。

如果需要,我很乐意提供更多细节。


回答:

如果你想在LSTM单元中添加dropout,可以尝试如下操作

model = Sequential()model.add(LSTM(10, input_shape=(6,4), dropout=0.5))model.add(Dense(32))model.add(Dense(1, activation='sigmoid'))model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])print(data.shape) # (1000, 6, 4)model.fit(data, target)

或者在LSTM单元之间使用dropout,可以考虑以下方式

model = Sequential()model.add(LSTM(10, input_shape=(6,4)))model.add(Dropout(0.5))model.add(LSTM(10, input_shape=(6,4)))model.add(Dense(32))model.add(Dense(1, activation='sigmoid'))model.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])print(data.shape) # (1000, 6, 4)model.fit(data, target)

Related Posts

在使用k近邻算法时,有没有办法获取被使用的“邻居”?

我想找到一种方法来确定在我的knn算法中实际使用了哪些…

Theano在Google Colab上无法启用GPU支持

我在尝试使用Theano库训练一个模型。由于我的电脑内…

准确性评分似乎有误

这里是代码: from sklearn.metrics…

Keras Functional API: “错误检查输入时:期望input_1具有4个维度,但得到形状为(X, Y)的数组”

我在尝试使用Keras的fit_generator来训…

如何使用sklearn.datasets.make_classification在指定范围内生成合成数据?

我想为分类问题创建合成数据。我使用了sklearn.d…

如何处理预测时不在训练集中的标签

已关闭。 此问题与编程或软件开发无关。目前不接受回答。…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注