我似乎在任何地方都找不到这个具体问题的答案。我正在从头开始重新创建一个LSTM，因为我想更好地理解它。
我已经画出了我目前对LSTM的理解，并将其附加到这篇文章中。
如果它接受h(t-1)并将其与x(t)连接起来，那将生成一个比h(t-1)更大的向量。随后对这个连接的向量应用Sigmoid函数，并对细胞状态应用tanh函数，然后将它们相乘。这将产生新的隐藏状态。
那么，为什么h(t)的大小不会比h(t-1)大呢？为什么隐藏状态不会随着每个时间步长而增长呢？
回答：
嗯，图表中的一些步骤中隐藏了一些投影步骤。图表中的“sigmoid”符号实际上意味着对线性投影操作的输出应用sigmoid函数。也就是说，使用@表示矩阵乘法，numpy风格，你并不是简单地取sigmoid([h(t-1); x(t)])，你实际上是在取sigmoid(W @ x(t) + U @ h(t-1))（暂时不考虑偏置项），其中W, U是具有学习参数的投影矩阵。
在矩阵世界中，这确实与连接hx(t) = [h(t-1); x(t)]并学习适当大小的参数V数学上是等价的，使得V @ hx(t)是你的sigmoid的输入。实际上，V只是上面U, W的水平连接（按该顺序）。
现在，让我们通过你图表中的例子来看看。你有h(t-1)的形状为(3,)和x(t)的形状为(2,)，我们将学习W的形状为(3, 2)和U的形状为(3, 3)，以产生最终输出形状为(3,)，这与h(t-1)相同。请注意，如果我们决定将这个表示为形状为(5,)的连接向量hx(t)，确实，我们可以将U, W水平合并以达到形状为(3, 5)的东西——这仍然产生所需形状为(3,)的最终输出。
要达到h(t)，你需要再进行一次与细胞状态项的逐元素乘法（在你图表中标记为x的节点处），但这也具有形状(3,)。
维基百科页面也提供了所有操作和维度的精确概述，这是Gers, Schmidhuber和Cummins的第2节中提供的方程的更紧凑形式。
