我了解前馈神经网络的基础知识,以及如何使用反向传播算法进行训练,但我正在寻找一种可以用于在线强化学习训练人工神经网络的算法。
例如,我希望使用ANN解决推车摆杆问题。在这种情况下,我不知道应该如何控制摆杆,我只知道我离理想位置有多近。我需要ANN基于奖励和惩罚进行学习。因此,监督学习不是一个选项。
另一种情况是类似于贪吃蛇游戏,其中反馈是延迟的,并且仅限于目标和反目标,而不是奖励。
对于第一种情况,我能想到一些算法,比如爬山法或遗传算法,但我猜它们都会很慢。它们也可能适用于第二种情况,但速度极慢,且不利于在线学习。
我的问题很简单:有没有一种简单的算法可以使用强化学习来训练人工神经网络?我主要对实时奖励情况感兴趣,但如果有针对基于目标情况的算法,那就更好了。
回答:
关于这个话题有一些研究论文:
还有一些代码:
这些只是关于这个话题的谷歌搜索结果中的一些顶级结果。虽然我个人没有阅读过,但前几篇论文看起来相当不错。我认为如果你在Google Scholar上进行快速搜索,你会发现更多关于使用强化学习的神经网络的信息。