我想使用来自 https://github.com/JuliaPOMDP/DeepQLearning.jl 的DeepQLearning.jl包。为此，我们需要做类似以下的事情:
using DeepQLearningusing POMDPsusing Fluxusing POMDPModelsusing POMDPSimulatorsusing POMDPPolicies# 从POMDPModels加载MDP模型或定义自己的模型！mdp = SimpleGridWorld();# 定义Q网络（请参阅Flux.jl文档）# 网格世界状态由一个2维向量表示。model = Chain(Dense(2, 32), Dense(32, length(actions(mdp))))exploration = EpsGreedyPolicy(mdp, LinearDecaySchedule(start=1.0, stop=0.01, steps=10000/2))solver = DeepQLearningSolver(qnetwork = model, max_steps=10000, exploration_policy = exploration, learning_rate=0.005,log_freq=500, recurrence=false,double_q=true, dueling=true, prioritized_replay=true)policy = solve(solver, mdp)sim = RolloutSimulator(max_steps=30)r_tot = simulate(sim, mdp, policy)println("Total discounted reward for 1 simulation: $r_tot")在mdp = SimpleGridWorld()这一行，我们创建了MDP。当我尝试创建MDP时，我遇到了状态空间非常大的问题。我的MDP中的状态是一个在{1,2,...,m}^n中的向量，对于某些m和n。因此，当定义函数POMDPs.states(mdp::myMDP)时，我意识到我必须遍历所有状态，这些状态非常多，即m^n。
我使用这个包的方式是否有误？还是我们必须遍历状态，即使有指数级的许多状态？如果是后者，那么使用Deep Q Learning的意义何在？我以为，Deep Q Learning可以帮助处理动作和状态空间非常大的情况。
回答：
DeepQLearning不需要枚举状态空间，并且可以处理连续空间问题。DeepQLearning.jl仅使用POMDPs.jl的生成接口。因此，您不需要实现states函数，只需实现gen和initialstate（请参阅链接了解如何实现生成接口）。
然而，由于DQN的离散动作性质，您还需要POMDPs.actions(mdp::YourMDP)，它应该返回动作空间的迭代器。
通过对您的实现进行这些修改，您应该能够使用求解器。
DQN中的神经网络以状态的向量表示作为输入。如果您的状态是一个m维向量，神经网络的输入大小将是m。网络的输出大小将等于您的模型中的动作数量。
在网格世界示例中，Flux模型的输入大小为2（x, y位置），输出大小为length(actions(mdp))=4。
