我通过Q-learning实现了一个3×3的OX游戏（在AI对AI和AI对人中运行得很完美），但我无法进一步扩展到4×4的OX游戏，因为这会耗尽我的电脑内存并导致崩溃。

这是我目前遇到的问题：大数组中的访问违规？

据我所知，一个3×3的OX游戏共有3（空格、白子、黑子）^ 9 = 19683种可能的状态。（相同模式但不同角度也计入）

对于4×4的OX游戏，总状态数将是3 ^ 16 = 43,046,721

对于常规的围棋游戏，15×15的棋盘，总状态数将是3 ^ 225 ≈ 2.5 x 10^107

问题1：我想知道我的计算是否正确。（对于4×4的OX游戏，我需要一个3^16的数组吗？）

问题2：由于我需要计算每个Q值（对于每个状态，每个动作），我需要这么大的数组，这是正常的吗？有什么方法可以避免这种情况吗？

回答：

如果你不想重新发明轮子，以下是解决这个问题的方法：

模型是一个卷积神经网络，通过Q-learning的一个变体进行训练，其输入是原始像素，输出是估计未来奖励的价值函数。我们将我们的方法应用于Arcade Learning Environment中的七个Atari 2600游戏，没有对架构或学习算法进行任何调整。

https://arxiv.org/pdf/1312.5602v1.pdf

我们可以用一个神经网络来表示我们的Q函数，该网络以状态（四个游戏屏幕）和动作作为输入，输出相应的Q值。或者我们可以只以游戏屏幕作为输入，输出每个可能动作的Q值。这种方法的优势在于，如果我们想要执行Q值更新或选择Q值最高的动作，我们只需通过网络进行一次前向传播，就可以立即获得所有动作的所有Q值。

https://neuro.cs.ut.ee/demystifying-deep-reinforcement-learning/