我正在研究一个系统的电源管理。我希望最小化的目标是功耗和平均延迟。我有一个单一的目标函数，它是两个目标的线性加权和：

C=w.P_avg+(1-w).L_avg,      其中 w 属于 (0,1)

我使用 Q-learning 通过改变权重 w 并对功耗和平均延迟设置不同的偏好来寻找帕累托最优折衷曲线。我确实得到了一个帕累托最优曲线。现在，我的目标是提供一个约束（例如，平均延迟 L_avg），从而调整/找到 w 的值以满足给定的标准。我的算法是实时运行的，因此 w 的调整应该以在线方式进行。

在这方面能否提供一些提示或建议？

回答：

在社区中有一个多目标强化学习分支。

这个想法是 1：

为每个目标分配一个代理家族。将一个家族中代理获得的解决方案与其他家族中代理获得的解决方案进行比较。使用协商机制来寻找满足所有目标的折衷解决方案。

还有一篇论文可能对你有兴趣：

通过强化学习进行电力系统调度和电压稳定性的多目标优化。

不过我没有找到它的公开网址。