例如，时间步t的状态是否可以由t时刻和t-1时刻的状态组成。

S_t = [s_t, s_t-1]

也就是说，近端策略优化是否已经包含了状态历史，或者状态中可以隐式包含历史信息（或者两者皆非）。

回答：

你可以将你的观测值连接起来。这在强化学习中非常常见。通常在Atari领域，最后四个帧会被合并成一个单一的观测值。这使得代理能够理解环境中的变化。

基础的PPO算法默认情况下并不会隐式地跟踪状态历史。不过，你可以通过添加一个循环层来实现这一点。