我尝试使用PPO实现自我对弈。假设我们有一个包含两个智能体的游戏。我们控制每一方的玩家，并在每一步之后获取观察和奖励等信息。据我所知，你可以使用左右玩家的信息来生成训练数据并优化模型。但这只适用于离线策略，对吗？因为对于在线策略，例如PPO，你期望训练数据是由当前网络版本生成的，而在自我对弈中通常并非如此，对吗？

谢谢！

回答：

没错，这也是为什么你只能在像Q-learning这样的离线策略方法中使用经验回放（重放缓冲区）的原因。使用不是由当前策略生成的样本步骤，会违反反向传播的梯度背后的数学假设。