我的问题源于对 PyTorch DQN 教程中代码的检查，但接下来涉及到强化学习的一般情况：在强化学习中，实现最优探索/利用的最佳实践是什么？

在 DQN 教程中，steps_done 变量是一个全局变量，EPS_DECAY = 200。这意味着：在128步之后，epsilon 阈值 = 0.500；在889步之后，epsilon 阈值 = 0.0600；在1500步之后，epsilon 阈值 = 0.05047。

这可能适用于教程中介绍的 CartPole 问题——早期的回合可能非常短且任务相对简单——但对于需要更多探索的更复杂的问题呢？例如，如果我们有一个问题有40,000个回合，每个回合有10,000个时间步，我们应该如何设置 epsilon 贪婪探索策略？在 RL 工作中是否有一些常用的经验法则？

回答：

嗯，对于这种情况，我认为最好使用线性退火的 epsilon-greedy 策略，该策略根据步骤更新 epsilon：

EXPLORE = 3000000   # 探索的时间步数
FINAL_EPSILON = 0.001 # epsilon 的最终值
INITIAL_EPSILON = 1.0 # epsilon 的初始值
if epsilon > FINAL_EPSILON:
            epsilon -= (INITIAL_EPSILON - FINAL_EPSILON) / EXPLORE