我正在尝试构建一个 LSTM 自编码器,目标是从一个序列中获取一个固定大小的向量,这个向量能够尽可能好地表示该序列。这个自编码器由两部分组成:
LSTM
编码器:接受一个序列并返回一个输出向量(return_sequences = False
)LSTM
解码器:接受一个输出向量并返回一个序列(return_sequences = True
)
因此,最终编码器是一个多对一的 LSTM,而解码器是一个一对多的 LSTM。
图片来源:Andrej Karpathy
从高层次上看,代码看起来像这样(类似于这里描述的):
encoder = Model(...)decoder = Model(...)autoencoder = Model(encoder.inputs, decoder(encoder(encoder.inputs)))autoencoder.compile(loss='binary_crossentropy', optimizer='adam', metrics=['accuracy'])autoencoder.fit(data, data, batch_size=100, epochs=1500)
data
数组的形状(训练样本数,序列长度,输入维度)是 (1200, 10, 5)
,看起来像这样:
array([[[1, 0, 0, 0, 0], [0, 1, 0, 0, 0], [0, 0, 1, 0, 0], ..., [0, 0, 0, 0, 0], [0, 0, 0, 0, 0], [0, 0, 0, 0, 0]], ... ])
问题: 我不确定如何继续进行,特别是如何将 LSTM
集成到 Model
中,以及如何让解码器从一个向量生成一个序列。
我使用的是带有 tensorflow
后端的 keras
。
编辑: 如果有人想尝试,这里是我生成带有移动的 1 的随机序列的过程(包括填充):
import randomimport mathdef getNotSoRandomList(x): rlen = 8 rlist = [0 for x in range(rlen)] if x <= 7: rlist[x] = 1 return rlistsequence = [[getNotSoRandomList(x) for x in range(round(random.uniform(0, 10)))] for y in range(5000)]### Padding afterwardsfrom keras.preprocessing import sequence as seqdata = seq.pad_sequences( sequences = sequence, padding='post', maxlen=None, truncating='post', value=0.)
回答:
模型可以按照你想要的任何方式构建。如果我理解正确的话,你只是想知道如何使用 LSTM 创建模型?
使用 LSTM
首先,你必须定义你的编码向量看起来是什么样的。假设你希望它是一个包含 20 个元素的一维向量。所以,形状是 (None,20)。它的尺寸由你决定,没有明确的规则来知道理想的尺寸。
你的输入必须是三维的,比如你的 (1200,10,5)。在 keras 的摘要和错误消息中,它将显示为 (None,10,5),因为 “None” 代表批次大小,每次训练/预测时都可能不同。
有很多方法可以做到这一点,但假设你只想要一个 LSTM 层:
from keras.layers import *from keras.models import ModelinpE = Input((10,5)) #这里,你不定义批次大小 outE = LSTM(units = 20, return_sequences=False, ...optional parameters...)(inpE)
这对于一个非常简单的编码器来说已经足够了,结果是一个包含 20 个元素的数组(但你可以堆叠更多层,如果你想的话)。让我们创建模型:
encoder = Model(inpE,outE)
现在,对于解码器,情况变得模糊了。你不再有一个实际的序列,而是一个静态的有意义的向量。你可能仍然想使用 LSTM,它们会假设这个向量是一个序列。
但在这里,由于输入的形状是 (None,20),你必须首先将其重塑为某个三维数组,以便接下来附加一个 LSTM 层。
你将如何重塑它完全取决于你。20 步的 1 个元素?1 步的 20 个元素?10 步的 2 个元素?谁知道呢?
inpD = Input((20,)) outD = Reshape((10,2))(inpD) #假设 10 步的 2 个元素
重要的是要注意,如果你不再有 10 步,你就不能简单地启用 “return_sequences” 并得到你想要的输出。你需要做一些工作。实际上,不需要使用 “return_sequences” 或甚至使用 LSTM,但你可以这样做。
由于我在重塑时有 10 个时间步(故意这样做的),使用 “return_sequences” 是可以的,因为结果将有 10 个时间步(与初始输入相同)
outD1 = LSTM(5,return_sequences=True,...optional parameters...)(outD) #5 个单元,因为我们想要一个 (None,10,5) 的向量。
你可以用许多其他方式工作,比如简单地创建一个不返回序列的 50 单元 LSTM,然后重塑结果:
alternativeOut = LSTM(50,return_sequences=False,...)(outD) alternativeOut = Reshape((10,5))(alternativeOut)
然后我们的模型如下:
decoder = Model(inpD,outD1) alternativeDecoder = Model(inpD,alternativeOut)
之后,你用你的代码将模型联合起来并训练自编码器。所有三个模型将具有相同的权重,因此你可以通过使用其 predict
方法来让编码器产生结果。
encoderPredictions = encoder.predict(data)
我经常看到关于使用 LSTM 生成序列的内容,通常是预测下一个元素。
你只需取序列的几个元素并尝试找到下一个元素。然后你再取一个向前一步的片段,依此类推。这在生成序列时可能有帮助。