LSTM 自编码器

我正在尝试构建一个 LSTM 自编码器,目标是从一个序列中获取一个固定大小的向量,这个向量能够尽可能好地表示该序列。这个自编码器由两部分组成:

  • LSTM 编码器:接受一个序列并返回一个输出向量(return_sequences = False
  • LSTM 解码器:接受一个输出向量并返回一个序列(return_sequences = True

因此,最终编码器是一个多对一的 LSTM,而解码器是一个一对多的 LSTM。

enter image description here图片来源:Andrej Karpathy

从高层次上看,代码看起来像这样(类似于这里描述的):

encoder = Model(...)decoder = Model(...)autoencoder = Model(encoder.inputs, decoder(encoder(encoder.inputs)))autoencoder.compile(loss='binary_crossentropy',              optimizer='adam',              metrics=['accuracy'])autoencoder.fit(data, data,          batch_size=100,          epochs=1500)

data 数组的形状(训练样本数,序列长度,输入维度)是 (1200, 10, 5),看起来像这样:

array([[[1, 0, 0, 0, 0],        [0, 1, 0, 0, 0],        [0, 0, 1, 0, 0],        ...,         [0, 0, 0, 0, 0],        [0, 0, 0, 0, 0],        [0, 0, 0, 0, 0]],        ... ])

问题: 我不确定如何继续进行,特别是如何将 LSTM 集成到 Model 中,以及如何让解码器从一个向量生成一个序列。

我使用的是带有 tensorflow 后端的 keras

编辑: 如果有人想尝试,这里是我生成带有移动的 1 的随机序列的过程(包括填充):

import randomimport mathdef getNotSoRandomList(x):    rlen = 8    rlist = [0 for x in range(rlen)]    if x <= 7:        rlist[x] = 1    return rlistsequence = [[getNotSoRandomList(x) for x in range(round(random.uniform(0, 10)))] for y in range(5000)]### Padding afterwardsfrom keras.preprocessing import sequence as seqdata = seq.pad_sequences(    sequences = sequence,    padding='post',    maxlen=None,    truncating='post',    value=0.)

回答:

模型可以按照你想要的任何方式构建。如果我理解正确的话,你只是想知道如何使用 LSTM 创建模型?

使用 LSTM

首先,你必须定义你的编码向量看起来是什么样的。假设你希望它是一个包含 20 个元素的一维向量。所以,形状是 (None,20)。它的尺寸由你决定,没有明确的规则来知道理想的尺寸。

你的输入必须是三维的,比如你的 (1200,10,5)。在 keras 的摘要和错误消息中,它将显示为 (None,10,5),因为 “None” 代表批次大小,每次训练/预测时都可能不同。

有很多方法可以做到这一点,但假设你只想要一个 LSTM 层:

from keras.layers import *from keras.models import ModelinpE = Input((10,5)) #这里,你不定义批次大小   outE = LSTM(units = 20, return_sequences=False, ...optional parameters...)(inpE)

这对于一个非常简单的编码器来说已经足够了,结果是一个包含 20 个元素的数组(但你可以堆叠更多层,如果你想的话)。让我们创建模型:

encoder = Model(inpE,outE)   

现在,对于解码器,情况变得模糊了。你不再有一个实际的序列,而是一个静态的有意义的向量。你可能仍然想使用 LSTM,它们会假设这个向量是一个序列。

但在这里,由于输入的形状是 (None,20),你必须首先将其重塑为某个三维数组,以便接下来附加一个 LSTM 层。

你将如何重塑它完全取决于你。20 步的 1 个元素?1 步的 20 个元素?10 步的 2 个元素?谁知道呢?

inpD = Input((20,))   outD = Reshape((10,2))(inpD) #假设 10 步的 2 个元素    

重要的是要注意,如果你不再有 10 步,你就不能简单地启用 “return_sequences” 并得到你想要的输出。你需要做一些工作。实际上,不需要使用 “return_sequences” 或甚至使用 LSTM,但你可以这样做。

由于我在重塑时有 10 个时间步(故意这样做的),使用 “return_sequences” 是可以的,因为结果将有 10 个时间步(与初始输入相同)

outD1 = LSTM(5,return_sequences=True,...optional parameters...)(outD)    #5 个单元,因为我们想要一个 (None,10,5) 的向量。   

你可以用许多其他方式工作,比如简单地创建一个不返回序列的 50 单元 LSTM,然后重塑结果:

alternativeOut = LSTM(50,return_sequences=False,...)(outD)    alternativeOut = Reshape((10,5))(alternativeOut)

然后我们的模型如下:

decoder = Model(inpD,outD1)  alternativeDecoder = Model(inpD,alternativeOut)   

之后,你用你的代码将模型联合起来并训练自编码器。所有三个模型将具有相同的权重,因此你可以通过使用其 predict 方法来让编码器产生结果。

encoderPredictions = encoder.predict(data)

我经常看到关于使用 LSTM 生成序列的内容,通常是预测下一个元素。

你只需取序列的几个元素并尝试找到下一个元素。然后你再取一个向前一步的片段,依此类推。这在生成序列时可能有帮助。

Related Posts

使用LSTM在Python中预测未来值

这段代码可以预测指定股票的当前日期之前的值,但不能预测…

如何在gensim的word2vec模型中查找双词组的相似性

我有一个word2vec模型,假设我使用的是googl…

dask_xgboost.predict 可以工作但无法显示 – 数据必须是一维的

我试图使用 XGBoost 创建模型。 看起来我成功地…

ML Tuning – Cross Validation in Spark

我在https://spark.apache.org/…

如何在React JS中使用fetch从REST API获取预测

我正在开发一个应用程序,其中Flask REST AP…

如何分析ML.NET中多类分类预测得分数组?

我在ML.NET中创建了一个多类分类项目。该项目可以对…

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注