我想让我的强化学习代理尽可能快地达到目标，同时尽量减少使用特定资源T的次数（尽管有时使用它是必要的）。

我考虑将即时奖励设置为每步-1，如果代理使用了T则额外-1，如果达到目标则为0。

但是，额外的-1完全是任意的，我该如何决定代理使用T时应受到的惩罚程度呢？

回答：

你应该使用一个模拟你自身价值观的奖励函数。如果该资源对你来说很昂贵（有价值），那么消耗它的惩罚就应该严厉。时间也是一样（如果你仔细想想，时间也是一种资源）。

如果两种惩罚（时间消耗和资源消耗）的比例符合你对这些资源的价值评估，那么代理就会完全按照你的利益行事。如果你判断错误（因为你可能不知道资源的确切成本或缓慢学习的确切成本），那么它将追求一个伪最优解而不是最优解，但在很多情况下这也是可以接受的。