我正在尝试让一个智能体学习在强化学习环境中完成某项任务所需的鼠标移动（即，奖励信号是学习的唯一反馈）。

我希望使用Q-learning技术，虽然我已经找到了一种扩展此方法到连续状态空间的方法，但我似乎无法弄清楚如何适应具有连续动作空间的问题。

我可以强制所有鼠标移动都具有特定的幅度，并且只能朝几个不同的方向移动，但任何合理地将动作离散化的方法都会产生巨大的动作空间。由于标准的Q-learning要求智能体评估所有可能的动作，这种近似在实际意义上并不能解决问题。

回答：

处理此问题的常见方法是使用演员-评论家方法。这些方法自然可以扩展到连续动作空间。基本的Q-learning在使用近似时可能会发散，然而，如果你仍然想使用它，你可以尝试将其与自组织映射结合起来，如“自组织映射在强化学习中的应用”中所做的那样。该论文还包含了一些你可能会觉得有用的进一步参考资料。