大模型优化利器：RLHF之PPO、DPO - 知乎
2025年1月21日 · OpenAI 在大多数任务中使用的强化学习算法都是近端策略优化算法（Proximal Policy Optimization, PPO）。近端策略优化可以根据奖励模型获得的反馈优化模型，通过不断 …
深度强化学习SAC、PPO、TD3、DDPG比较？ - 知乎
3. PPO（Proximal Policy Optimization） 算法概述. PPO是一种基于策略梯度的强化学习算法，提出的核心思想是限制更新幅度，避免大规模的策略更新导致训练不稳定。PPO通过使用剪 …
DeepSeek的GRPO算法是什么？ - 知乎
这样才是更加常规做法。奈何GPT2，GPT3相关论文代码确实是这么写的，可以参考知乎上的讨论在强化学习 PPO 算法中，为什么可以把 KL 散度直接放进负奖励？ PPO技术要点差不多已经 …
[细(戏)说]RLHF场景下的PPO算法的来龙去脉 - 知乎
2023年5月31日 · 本文是我梳理的llm项目的ppo代码里比较重要的算法细节的由来，帮助你更好的理解代码。 完全没有强化学习的经验，从零开始学习RLHF的PPO算法是一件很痛苦的事情。 …
PPO算法 - 知乎
2022年8月2日 · 近端策略优化（ppo）算法是openai在2017提出的一种强化学习算法，被认为是目前强化学习领域的sota方法，也是适用性最广的算法之一。本文将从ppo算法的基础入手，理 …
在PPO算法的官方实现中，为什么更新critic网络时用的是Q值而不 …
PPO算法的工作流大致可以分为样本产生阶段和PPO算法训练阶段。样本产生阶段会使用GAE算法去估计优势值（GAE算法是一种估计优势值advantage的方法）并顺便计算累积reward一并存 …
simple_GRPO是如何复现DeepSeek的GRPO算法的？ - 知乎
在强化学习中，近端策略优化（ppo） 被广泛应用于策略更新问题。ppo 算法试图通过限制每次策略更新幅度来确保训练稳定性，其目标函数一般形如： PPO 算法试图通过限制每次策略更新 …
在强化学习 PPO 算法中，为什么可以把 KL 散度直接放进负奖励？
trl ppo 这一做法源自 rlhf，比原始 ppo 算法的区别是考虑到更特殊的场景：预训练模型的微调。 它与 PPO 控制每次迭代时新旧策略模型输出概率分布的 K-L 不同的是，这里加入 reward 里面 …
强化学习中A3C/DDPG/DPPO哪个效果更好？ - 知乎
回答的已经不错了。我再补充一个资源：OpenAI Spinning Up。该资源中比较了六种算法（vpg、trpo、ppo、ddpg、sac、td3）在五种 MuJoCo Gym task（HalfCheetah, Hopper, Walker2d, …
想问一下，强化学习的奖励突然下降，可能会是什么原因导致的？
我使用的 ppo算法 也会遇到这个问题，具体原因未知，但是通过调整 神经网络权值 的方法在一定时间尺度上改善了这个问题。其中橙色曲线是ppo的目标函数曲线，我的系统中是越小越好， …