实现实时操作性条件反射(监督下的奖励/惩罚学习)最佳方法是什么?我应该使用神经网络(如果是,哪种类型)?还是其他方法?
我希望智能体能够像狗一样被训练来遵循命令。这些命令将以触摸屏上的手势形式出现。我希望智能体能够被训练来跟随路径(在连续的二维空间中),根据命令进行行为改变(通过有限状态机的状态转换来建模),并执行一系列动作。
智能体将处于一个模拟的物理环境中。
回答:
强化学习是解决您问题的一个很好的机器学习算法。
基本的强化学习模型包括:
- 一组环境状态
S
(您有一个以某种方式离散化的二维空间,这是狗的当前位置,如果您想使用连续的二维空间,您可能需要一个神经网络作为价值函数映射器。) - 一组动作
A
(您提到狗执行一系列动作,例如移动、旋转) - 状态之间转换的规则(狗的位置转换可以通过有限状态机建模)
- 确定转换的标量即时奖励
r
的规则(当到达目标位置时,您可能希望给狗一个大奖励,而在中间里程碑上也欢迎小奖励) - 描述智能体观察到的规则(狗可能有有限的视野,例如,只能看到4个或8个邻近的单元格,下图是一个例子,显示了狗的当前位置
P
和狗可以看到的4个邻近单元格。)
要找到最优策略,您可以从无模型技术 – Q-learning 开始。