我正在为游戏2048编写一个AI。目前,我可以从浏览器中获取游戏状态并向游戏发送移动指令,但我不知道如何将其与TensorFlow整合。项目的性质不适合训练数据,所以我想知道是否可以将游戏状态传入网络,让网络输出一个移动指令,执行该移动,重复此过程直到游戏结束,然后进行训练?
回答:
这当然是可能的,而且非常简单。你需要设置你想要使用的模型,我假设这个模型已经构建好了。
从与TensorFlow模型交互的角度来看,你只需要将数据整理成numpy数组,通过feed_dict
属性传入sess.run
中即可。
要将输入传递给TensorFlow并获取结果,你可以运行如下代码:
result = sess.run([logits], feed_dict={x:input_data})
这将执行一次前向传递,产生模型的输出,而不进行任何更新。现在你可以使用results
来进行游戏的下一步操作。
现在你有了行动的结果(例如标签),你可以执行更新步骤:
sess.run([update_op], feed_dict={x:input_data, y:labels})
就这么简单。请注意,你的模型会定义一个优化器(在这个例子中是update_op
),但如果你不请求TensorFlow计算它(如第一个代码示例),就不会发生更新。TensorFlow完全是关于依赖图的。优化器依赖于输出logits
,但计算logits
并不依赖于优化器。
你可能会随机初始化这个模型,所以最初的结果将是随机生成的,但之后的每一步都将受益于之前应用的更新。
如果你使用的是强化学习模型,那么你只会在未来的某个不确定的时间产生奖励,并且运行更新的时间会与这个例子略有不同,但问题的总体性质保持不变。