OpenAI发布了一个名为Gymnasium的新库，旨在替代Gym库。虽然有很多库实现了支持Gym环境的强化学习算法，但Gymnasium的接口有所变化。有没有支持Gymnasium的算法库？我尝试了CleanRL、KerasRL、RLib和其他一些，但都不起作用，现在唯一的方法是手动实现，对吗？

回答：

Stable Baselines3尚未发布支持Gymnasium的版本，但这个拉取请求解释了如何安装和使用gymnasium。

首先安装该PR的版本：

$ pip install git+https://github.com/carlosluis/stable-baselines3@fix_tests

假设你已经安装了gymnasium，你可以运行：

# 重要步骤，将`gym`覆盖为`gymnasium`。import sysimport gymnasiumsys.modules["gym"] = gymnasium# 工作的示例代码from stable_baselines3 import PPOenv = gymnasium.make("CartPole-v1", render_mode="rgb_array")model = PPO("MlpPolicy", env, verbose=1)