在强化学习中，我们通过经验知道使用离散动作比使用连续动作更容易训练。

但从理论上讲，连续动作更精确和快速，就像我们人类一样，我们的大多数动作都是连续的。

那么，有没有一种方法或相关研究，可以先训练一个离散动作策略以便于起步，然后将该策略转换为输出连续动作以获得更好的精度呢？

谢谢。

回答：

你当然可以这样做，任何使用强化学习进行连续控制的论文都会这样做。唯一不这样做的研究人员是那些使用深度强化学习或使用函数近似的强化学习的研究人员。我的研究是将强化学习和深度强化学习应用于动态系统。我将我的状态和动作空间离散化到适当的分辨率，然后应用到控制问题上。

我目前正在研究一些方法，使离散化系统能够适用于连续空间。一种方法是使用线性插值。如果你的状态介于两个离散点之间，你可以使用线性插值来确定最优动作（在连续空间中）。这种方法对于线性系统特别有效，因为控制律是线性的，如下所示：

u = Kx

这种方法直接符合你的要求：在离散空间上训练，然后应用于连续控制问题。

然而，传统上，连续控制问题是使用线性函数近似（如瓦片编码）或非线性函数近似（如人工神经网络）来解决的。这些方法更为高级，我建议你先尝试使用更基本的离散RL方法。我在我的Github上有一个RL代码，你可以使用，如果你有任何问题，请告诉我。