我想知道如何在Q-learning中添加约束。我每次采取行动都会得到两个奖励（奖励1=配送成本，奖励2=配送时间）。我想在确保不违反最大配送时间限制的前提下最小化成本。有没有标准的或正式的方法来做到这一点？

回答：

最简单的解决方案是创建一个能够同时考虑这两个信号的单一奖励函数。

为了最小化配送成本，你可以先这样定义你的奖励函数：

R(.) = -delivery_cost

这里使用否定是因为强化学习通常是关于最大化奖励，而不是最小化成本。

让智能体学会不违反配送时间限制的一个直接方法是，如果违反了配送时间限制，就从奖励中减去一个巨大的常数，如果没有违反，则不加也不减。这样的话，奖励函数看起来会像这样：

R(.) = -delivery_cost - M IF delivery_time > constraint, -delivery_cost otherwise

M的值必须非常大。到底多大才算“非常大”，取决于你预期的配送成本可能达到的数值，因为它必须比那个数值更大。

当然，也可以创建比这更平滑的奖励函数，特别是如果你想允许在配送时间上稍微违反限制，如果这意味着可以显著降低成本的话。

如果你想探索比我上面提出的更复杂的解决方案，你需要查找关于多目标强化学习的文献。