离线强化学习算法的关键在于避免因为分布偏移导致的 Q 值过估计问题，CQL算法直接从值函数出发，旨在找到原本 \mathrm{Q} 值函数的下界估计，进而使用其去优化具有更加保守的policy value的策略。

一句话概括CQL：通过打压OOD(out of distribution)的q值的同时，去适当的鼓励已经在buffer(训练集)中的q值，从而防止q值被高估。 论文中严格证明了通过该方法，能确保学习到q值的下界值，避免了被高估。

2024年9月24日 · Conservative Q-Learning (CQL) 是由Sergey Levine及其团队于2020年提出的一种针对离线强化学习的算法。CQL旨在解决离线强化学习中的两个主要问题：分布偏移（Distributional Shift） 和 过度乐观的值函数估计（Overestimation of Q-Values）。CQL通过对Q值的保守约束，确保学习到的 ...

PyTorch implementation of the Offline Reinforcement Learning algorithm CQL. Includes the versions DQN-CQL and SAC-CQL for discrete and continuous action spaces.

CQL即在优化empirical MDP的return，也在保证policy和dataset的behavior policy区别不太大。 Safe-policy improvement： 这里分析CQL了optimal policy的优化误差。 Overall Algorithm. 前面提到，CQL的变化就是对Q-function objective的regularization（红色部分）： 实验1-Gym. 实 …

In this repository we provide code for CQL algorithm described in the paper linked above. We provide code in two sub-directories: atari containing code for Atari experiments and d4rl containing code for D4RL experiments. Due to changes in the datasets in D4RL, we expect some changes in CQL performance on the new D4RL datasets and we will soon ...

论文的主要思想是在$Q$值基础上增加一个regularizer，学习一个保守的Q函数，作者从理论上证明了CQL可以产生一个当前策略的真实值下界，并且是可以进行策略评估和策略提升的过程。

保守 Q 学习（CQL），首次提出于 Conservative Q-Learning for Offline Reinforcement Learning, 是其中之一，它通过对标准基于价值的 RL 算法进行简单修改来学习保守 Q 函数，其期望值下限。 CQL 是一种离线 RL 算法。 CQL 可以在许多标准在线 RL 算法之上用不到20行代码实现。 CQL 支持离散和连续动作空间。 CQL 可以在许多标准在线 RL 算法之上用不到20行代码实现，只需将 CQL 正则化项添加到 Q 函数更新中。 通常情况下，对于保守的离线策略评估，Q 函数通过迭 …

2024年12月2日 · Conservative Q-Learning (CQL) 是由Sergey Levine及其团队于2020年提出的一种针对离线强化学习的算法。CQL旨在解决离线强化学习中的两个主要问题：分布偏移（Distributional Shift） 和 过度乐观的值函数估计（Overestimation of Q-Valu...

2022年6月27日 · 在本文中，我们提出了保守Q学习 (CQL)，旨在通过学习保守Q函数来解决这些限制，使得在该Q函数下的策略期望价值的下限为其真实值。 我们从理论上表明，CQL对当前策略的价值产生了下限，并且可以将其纳入具有理论改进保证的策略学习过程中。 在实践中，CQL用一个简单的Q值正则化器增强了标准Bellman误差目标，该正则化器可以直接在现有的深度Q学习和actor-critic实现之上实现。 在离散和连续控制域上，我们表明CQL大大优于现有的离线RL方 …