我最近接触到了OpenAI 5。我很好奇他们的模型是如何构建的，并希望能理解它。我在维基百科上读到，它“包含一个单层，具有1024个单元的LSTM”。然后我找到了这个包含架构方案的PDF文件。
我的问题
从这些信息中，我有几点不明白：
-
什么是1024单元的LSTM层？这是指我们有一个LSTM单元有1024个时间步，还是指我们有1024个单元？你能展示一些可视化的图表吗？我特别难以想象在一个层中有1024个单元。（我尝试查看了几个Stack Overflow的问题，比如1、2，或者OpenAI 5博客，但它们没有太多帮助）。
-
如何在这样的模型上进行强化学习？我习惯于使用Q表进行RL，并在训练过程中更新它们。这是否仅仅意味着他们的损失函数就是奖励？
-
为什么这样的大模型不会受到梯度消失的影响？我在PDF中没有看到任何类型的归一化处理。
-
在PDF中你可以看到一个蓝色的矩形，看起来像是一个单元，并且有
N个这样的单元。这是什么意思？请纠正我，如果我错了，粉红色的框是用来选择最佳移动/物品的吗？
总的来说，所有这些都可以总结为“OpenAI 5模型是如何工作的？”
回答：
-
这意味着隐藏状态的大小是1024个单元，基本上就是说你的LSTM在每个时间步都有1024个单元。我们事先不知道会有多少时间步。
-
LSTM的状态（隐藏状态）代表了代理当前观察到的状态。它在每个时间步使用接收到的输入进行更新。这个隐藏状态可以用来预测Q函数（如深度Q学习）。你没有一个明确的
(状态, 动作) -> q_value表，取而代之的是一个大小为1024的向量，它代表状态并输入到另一个全连接层，该层将输出所有可能动作的q值。 -
LSTM是阻止梯度消失的机制，因为长程记忆也使得梯度更容易回流。
-
如果你指的是大的蓝色和粉红色框，那么粉红色的看起来像是输入值，这些值通过网络并在每个拾取或修改器上进行池化。蓝色空间似乎是对每个单元进行同样的处理。拾取、修改器、单元等术语在他们玩的游戏的上下文中应该是有意义的。
这是LSTM的图像 – 每个步骤的黄色节点是n：
向量h是LSTM的隐藏状态，它被传递到下一个时间步并用作该时间步的输出。
