当前位置: 代码迷 >> 综合 >> Constrained Policy Optimization——UC Berkeley
  详细解决方案

Constrained Policy Optimization——UC Berkeley

热度:79   发布时间:2023-12-15 21:55:06.0

如有错误,欢迎指正
本文翻译为机翻,仅作初步了解学习使用,需要用到的时候再回来整理。
如有侵权,请私信本人。

约束型策略优化算法

Joshua Achiam(UC Berkeley)
原为链接:https://arxiv.org/pdf/1705.10528.pdf
参考链接:https://www.sohu.com/a/155588306_465975
源码:https://github.com/jachiam/cpo

我们的方法——约束型策略优化(Constrained Policy Optimization——CPO),可以确保智能体在学习过程中的每一步都满足约束条件。具体来说,我们尝试满足成本方面的约束:设计者会给智能体应该避免的每一个结果都分配一个成本(cost)和一个限制(limit),而且智能体则会学着去使它的所有成本都保持在限制之下。

为什么我们需要安全性约束?

强化学习智能体的训练目标是最大化奖励信号,人类必须事先指定设计这一过程的范围。如果奖励信号没有被正确设计,智能体就会去学习非计划中的甚至是有害的行为。如果设计奖励函数很容易,这将不是问题,但不幸的是从根本上来讲,奖励函数设计很有挑战性;这就是采用约束(constraint)的

  相关解决方案