CQL尝试通过修改值函数的back up方式，在 Q 值的基础上添加一个regularizer，得到真实动作值函数的下界估计。 实验表明，CQL的表现非常好，特别是在学习复杂和多模态数据分布的时候

一句话概括CQL：通过打压OOD (out of distribution)的q值的同时，去适当的鼓励已经在buffer (训练集)中的q值，从而防止q值被高估。 论文中严格证明了通过该方法，能确保学习到q值的下界值，避免了被高估。 我们从最最初的版本出发，一路到后面，确保有强化学习基础的所有人读一遍就能懂。 上图是一个更新q值的公式，包括两项。 加号右边的那一项就是我们通过MSE去更新q值，这个不需要在原代码上去做什么修改。 \beta 是 bellman算子，但是好像代码里这部分基本 …

2024年8月17日 · CQL算法的核心思想是在Q值的基础上增加一个正则化项（regularizer），从而得到真实动作值函数的下界估计。 这种方法在理论上被证明可以产生当前策略的真实值下界，并且可以进行策略评估和策略提升的过程 。

2024年9月24日 · Conservative Q-Learning (CQL) 是由Sergey Levine及其团队于2020年提出的一种针对离线强化学习的算法。 CQL旨在解决离线强化学习中的两个主要问题：分布偏移（Distributional Shift） 和 过度乐观的值函数估计（Overestimation of Q-Values）。

2023年11月28日 · CQL优化的是带有惩罚的经验性目标，它表明不仅最大化经验MDP下的回报，同时约束训练的策略离产生数据集的行为策略较近（隐式的由gap-expanding引入）

2024年12月2日 · Conservative Q-Learning (CQL) 是由Sergey Levine及其团队于2020年提出的一种针对离线强化学习的算法。 CQL旨在解决离线强化学习中的两个主要问题：分布偏移（Distributional Shift） 和 过度乐观的值函数估计（Overestimation of Q-Valu...

论文的主要思想是在$Q$值基础上增加一个regularizer，学习一个保守的Q函数，作者从理论上证明了CQL可以产生一个当前策略的真实值下界，并且是可以进行策略评估和策略提升的过程。

CQL希望通过学习一个 保守的下界Q函数 来解决 分布偏移问题。 实践当中就是对 deep Q-learning 和 actor-critic 算法的Q值更新目标加入 正则化。

2023年7月16日 · 本文中我们提出了 conservative Q-learning (CQL) 方法，它旨在 通过学习一个保守的 Q 函数来解决这些问题，策略在这个 Q 函数下的期望值是其真实价值期望的下界。 我们从理论上证明了 CQL 可以产生当前策略的价值下界，并且它可以被纳入到一个具有理论改进保证的策略学习过程中。 在实践中，CQL通过一个简单的 Q-value regularizer 增强了 stander Bellman error objective，该正则化器可以在现有的 DQN 和 AC 的基础上实现。 我们发现 CQL 在离散和连 …

2022年6月27日 · 在本文中，我们提出了保守Q学习 (CQL)，旨在通过学习保守Q函数来解决这些限制，使得在该Q函数下的策略期望价值的下限为其真实值。 我们从理论上表明，CQL对当前策略的价值产生了下限，并且可以将其纳入具有理论改进保证的策略学习过程中。 在实践中，CQL用一个简单的Q值正则化器增强了标准Bellman误差目标，该正则化器可以直接在现有的深度Q学习和actor-critic实现之上实现。 在离散和连续控制域上，我们表明CQL大大优于现有的离线RL方 …