我已经以三种不同的方式使用了RNN/LSTM:
- 多对多: 使用最终层的每个输出预测下一个值。可以是分类或回归。
- 多对一: 使用最终的隐藏状态进行回归或分类。
- 一对多: 接受一个潜在空间向量，可能是LSTM编码器的最终隐藏状态，并用它生成一个序列（我以自编码器的形式做过这个）。
在这些情况下，我都没有使用中间隐藏状态来生成最终输出。只有在情况#1中使用最后一层的输出，以及在情况#2和#3中使用最后一层的隐藏状态。然而，PyTorch nn.LSTM/RNN 返回一个包含每层最终隐藏状态的向量，所以我假设它们有一些用途。
我想知道这些中间层状态的一些用例是什么？
回答：
并没有明确要求你只使用最后一层。你可以将所有层输入到你的最终分类器MLP中，用于序列中的每个位置（或者在最后，如果你是在对整个序列进行分类）。
作为一个实际的例子，请考虑用于生成上下文化（即，词级别）词嵌入的ELMo架构。（论文在这里：https://www.aclweb.org/anthology/N18-1202/）这些表示是多层双向RNN的隐藏状态。论文中的图2显示了不同层在有用性上的差异取决于任务。作者建议，较低层编码语法，而较高层编码语义。
