我正在尝试实现一个LSTM变分自编码器（参照这个例子），同时希望它能通过掩码层接受可变长度的序列。我试图将上述代码与这个Stack Overflow问题中的想法结合起来，后者似乎通过裁剪梯度以最准确的方式处理这个问题。然而，我的实现似乎无法在一个小数据集上重现序列。因此，我相对确信我的实现中存在问题，但我无法确定具体是什么问题。相关部分如下：
x = Input(shape=(None, input_dim))(x)x_masked = Masking(mask_value=0.0, input_shape=(None, input_dim))(x)h = LSTM(intermediate_dim)(x_masked)z_mean = Dense(latent_dim)(h)z_log_sigma = Dense(latent_dim)(h)def sampling(args): z_mean, z_log_sigma = args epsilon = K.random_normal(shape=(batch_size, latent_dim), mean=0., stddev=epsilon_std) return z_mean + z_log_sigma * epsilonz = Lambda(sampling, output_shape=(latent_dim,))([z_mean, z_log_sigma])decoded_h = LSTM(intermediate_dim, return_sequences=True)decoded_mean = LSTM(latent_dim, return_sequences=True)h_decoded = RepeatVector(max_timesteps)(z)h_decoded = decoder_h(h_decoded)x_decoded_mean = decoder_mean(h_decoded)def crop_outputs(x): padding = K.cast(K.not_equal(x[1], 0), dtype=K.floatx()) return x[0] * paddingx_decoded_mean = Lambda(crop_outputs, output_shape=(max_timesteps, input_dim))([x_decoded_mean, x])vae = Model(x, x_decoded_mean)def vae_loss(x, x_decoded_mean): xent_loss = objectives.mse(x, x_decoded_mean) kl_loss = -0.5 * K.mean(1 + z_log_sigma - K.square(z_mean) - K.exp(z_log_sigma)) loss = xent_loss + kl_loss return lossvae.compile(optimizer='adam', loss=vae_loss)# Here, X is variable length time series data of shape# (num_examples, max_timesteps, input_dim) and is zero padded# on the right for all the examples of length less than max_timesteps# X has been appropriately scaled using the StandardScaler.vae.fit(X, X, epochs = num_epochs, batch_size=batch_size)如往常一样，任何帮助都非常感激。谢谢！
回答：
我在寻找同样解决方案时看到了你的问题。我放弃了VAE，但找到了一个解决方案，可以将掩码应用于不支持掩码的层。我所做的是预定义一个二进制掩码（你可以用numpy代码1来做），然后将我的输出乘以这个掩码。在反向传播过程中，算法会尝试计算乘法的导数，最终决定是否传播值。这不如Keras中的掩码层聪明，但对我来说足够了。
#Code 1#making a numpy binary mask# expecting a sequence with shape (Time_Steps, Features)# let's say that my sequence has Features = 10 and a max_Length of 15max_Len = 15seq = np.linspace(0,1,100).reshape((10,10))# You must pad/truncate the sequence heremask = np.concatenate([np.ones(seq.shape[0]),np.zeros(max_Len-seq.shape[0])],axis=-1)# This mask can be thrown as input to the model afterwards一些考虑：1- 这导致了一个较弱的回归模型。我不知道对VAE的影响，因为我从未测试过，但我认为它会产生很多噪音。2- 计算资源需求增加了，所以如果你像我一样预算有限，尝试计算这种变通方法（我们这里称之为“gambiarra”）的前向和反向传播的需求是个好主意。3- 这并不能完全解决问题，你可以尝试深入研究并使用纯Tensorflow实现一个更稳定的解决方案。4- 一个更“准确”的解决方案是实现一个自定义掩码层（代码2）。
关于第4点，很简单，你必须将层定义为默认层，然后在call函数中接收一个掩码，然后只输出掩码和输入的乘积。像这样：
# Code 2class MyCoolMaskingLayer(tf.keras.layers.Layer): def __init__(self, **kwargs): #init stuff here pass def compute_mask(self, inputs, mask=None): return mask def call(self, input, mask=None): bc_mask = tf.expand_dims(tf.cast(mask, "float32"), -1) if mask is not None else np.asarray([[1]]) return input * mask这个函数可能不适合你，它真的很具体，而且来自一个新手（我），但它对我有用。我不能分享整个代码，因为我的硕士导师不允许。（一点背景：我把它包装在一个TimeDistributed中，这样LSTM输出的每个时间步都被这个掩码层单独处理，因为在call中我对数据进行了一些转换）
