我有一个带有LSTM的强化学习Actor Critic模型。在初始训练期间，它对所有状态给出相同的动作值。

请问有AI/RL领域的专家能否帮助我确认这是否是训练过程中的正常行为？另外，如果我的状态维度为50，动作维度为3，请问LSTM和线性层的理想大小应该是多少？

提前感谢

回答：

这可能是由多种原因导致的：

1 – 检查权重初始化

2 – 检查模型进行推理的接口，确认是否有其他因素阻止了模型做出动作选择，除了那个特定神经元的激活之外

3 – 检查你的奖励函数。避免使用过大的负面奖励。另外，如果采取相同的动作并不是避免负面奖励的明显方法。