我正在尝试从零开始用Java制作一个学习型足球游戏，并且试图使用Google DeepMind的深度Q学习算法来实现强化学习（虽然没有使用卷积网络）。我已经构建了神经网络和Q学习，现在我正试图将它们结合起来，但在代码中有些东西我还不明白。

1. Q值通常不是用零来初始化的吗，而不是随机值？还是这指的是神经网络的权重（第二行）
2. 什么是

预处理序列 Φ1 = Φ(s1) （第四行）

我实在搞不明白在这个算法中Φ代表什么。

回答：

1. 它指的是神经网络的权重
2. Φ(s)指的是预处理映射/步骤，Φ是Φ(s1)的简写。每帧是210×160像素x128种颜色。在论文中使用了一些预处理。他们去除了闪烁，只使用亮度，重新缩放和堆叠。请查看2015年论文中的“方法”部分。