我大致明白该如何操作，但我不理解如何保存（状态，值）对，因为俄罗斯方块有如此多的不同状态，单纯使用哈希表似乎在内存上行不通。或许可以将不同的状态映射到一个单一的状态上，或者有其他的技巧吗？还是我的理解有误？

回答：

基于表格的强化学习无法扩展到大的状态空间——你的观点完全正确。这就是为什么要使用近似方法的原因，这些方法既有非常简单的，如将状态映射到值的线性模型，也有相当复杂的，如深度（有时是循环的）神经网络（深度Q网络等）。换句话说，不是简单地建立状态到值的映射，而是通过建立（例如对于Q值）Q(状态 | 参数) = 值的函数依赖关系，并优化参数以最佳拟合观察到的实际状态/值对。值得注意的是，这不仅仅是关于内存的问题，如果你采用表格方法，你实际上需要观察所有状态才能得到一个好的模型，而采用函数/近似方法——你可能能够发现状态空间的实际结构，从而加以利用。