我正在尝试构建一个序列到序列的编码器-解码器模型，需要对最后一层进行softmax处理，以便使用分类交叉熵损失函数。

我尝试将最后一个LSTM层的激活函数设置为’softmax’，但似乎没有效果。添加一个全连接层并将其激活函数设置为softmax也无济于事。当最后一个LSTM输出一个序列时，正确的softmax操作方法是什么？

inputs = Input(batch_shape=(batch_size, timesteps, input_dim), name='hella')encoded = LSTM(latent_dim, return_sequences=True, stateful=False)(inputs)encoded = LSTM(latent_dim, return_sequences=True, stateful=False)(encoded)encoded = LSTM(latent_dim, return_sequences=True, stateful=False)(encoded)encoded = LSTM(latent_dim, return_sequences=False)(encoded)decoded = RepeatVector(timesteps)(encoded)decoded = LSTM(input_dim, return_sequences=True)(decoded)# 在这里进行softmax处理sequence_autoencoder = Model(inputs, decoded)sequence_autoencoder.compile(loss='categorical_crossentropy', optimizer='adam')

回答：

我已经找到了解决方法：

在Keras 2中，你可以简单地添加以下代码：

TimeDistributed(Dense(input_dim, activation='softmax'))

TimeDistributed允许你在每个时间步上应用一个全连接层。相关文档可以在这里找到：https://keras.io/layers/wrappers/