我正在对时间序列数据进行RNN训练。我继承了RNNCell并在dynamic_rnn中使用它。RNNCell的拓扑结构如下：
- 输入（形状
[15, 100, 3]） - 1×3卷积（5个卷积核），ReLu激活（形状
[15, 98, 5]） - 1x（剩余）卷积（20个卷积核），ReLu激活（形状
[15, 1, 20]） - 连接前一个输出（形状
[15, 1, 21]） - 压缩并进行1×1卷积（1个卷积核），ReLu激活（形状
[15, 1]） - 压缩并进行softmax处理（形状
[15]）
dynamic_rnn的批次大小约为100（与上述描述中的100不同，那是数据窗口中时间段的数量）。每个epoch大约由200个批次组成。我想尝试调整超参数和正则化，但经常会遇到尝试后完全停止学习的情况，我不明白为什么。以下是一些奇怪的现象：
-
Adagrad有效，但如果我使用Adam或Nadam，梯度全部为零。
-
我被迫设置一个巨大的学习率（约1.0）才能看到epoch之间的学习进展。
-
如果我在任何卷积层后添加dropout，即使将keep_prob设置为1.0，学习也会停止。
-
如果我调整卷积中的卷积核数量，对于一些看似同样好的选择（例如5, 25, 1与5, 20, 1），网络再次完全停止学习。
为什么这个模型如此脆弱？是RNNCell的拓扑结构问题吗？
编辑：这是RNNCell的代码：
class RNNCell(tf.nn.rnn_cell.RNNCell): def __init__(self): super(RNNCell, self).__init__() self._output_size = 15 self._state_size = 15 def __call__(self, X, prev_state): network = X # ------ 2 convolutional layers ------ network = tflearn.layers.conv_2d(network, 5, [1, 3], activation='relu', weights_init=tflearn.initializations.variance_scaling(), padding="valid", regularizer=None) width = network.get_shape()[2] network = tflearn.layers.conv_2d(network, 20, [1, width], [1, 1], activation='relu', weights_init=tflearn.initializations.variance_scaling(), padding="valid", regularizer=None) # ------ concatenate the previous state ------ _, height, width, features = network.get_shape() network = tf.reshape(network, [-1, int(height), 1, int(width * features)]) network = tf.concat([network, prev_state[..., None, None]], axis=3) # ------ last convolution and softmax ------ network = tflearn.layers.conv_2d(network, 1, [1, 1], activation='relu', weights_init=tflearn.initializations.variance_scaling(), padding="valid", regularizer=None) network = network[:, :, 0, 0] predictions = tflearn.layers.core.activation(network, activation="softmax") return predictions, predictions @property def output_size(self): return self._output_size @property def state_size(self): return self._state_size回答：
你很可能遇到了梯度消失的问题。
不稳定性可能由使用ReLU与可调参数数量较少的组合引起。从描述中我理解，第一层只有1x3x5 = 15个可训练参数。例如，如果假设初始化值接近零，那么平均50%的参数梯度将始终为零。一般来说，在小型网络中使用ReLU是危险的，尤其是在RNN的情况下。
- 尝试使用Leaky ReLU（但你可能会遇到梯度爆炸问题）
- 尝试使用tanh，但要检查参数的初始值，确保它们确实接近零，否则你的梯度也会很快消失。
- 在第0步检索未经训练但已初始化的网络结果。通过正确的初始化和神经网络构建，你应该得到围绕0.5的正态分布值。如果你得到的是严格的1、0或它们的混合，那么你的神经网络架构有问题。所有值严格为0.5也是不好的。
- 考虑使用更稳健的方法，如LSTM
