2025年1月21日 · 论文提出了应用RFT（Rejection sampling Fine-Tuning） 拒绝采样来生成和收集正确的推理路径，以此作为增强的微调数据集。 RFT能够生成包含更多独特推理路径的增强样本，更大幅度地提升LLMs的数学推理性能。 对于性能较差的LLMs，RFT带来的改进更为显著。 此外，论文将来自 多个模型的拒绝样本结合起来，使LLaMA-7B在GSM8K上的准确率达到了49.3％，这明显优于有监督微调（SFT）的准确性35.9％。 在介绍论文方法之前，先介绍下什么是RFT， …

We also find RFT brings more improvement for less performant LLMs. Furthermore, we combine rejection samples from multiple models which push LLaMA-7B to an accuracy of 49.3% and outperforms the supervised fine-tuning (SFT) accuracy of 35.9% significantly.

该脚本适用于自我提升方式的训练，且支持动态调整采样温度值、PRM阈值等超参数，并且训练方式灵活可变（微调、DPO等；或者每次迭代重新训练原模型或继续训练上个迭代的模型，甚至加载上个迭代的所有训练状态等）。 开发者可以在该脚本中增加其他数据过滤（生成的数据集中，id相同的行来自同一个query），例如多样性判断、语种判断等。 我们对该RFT脚本针对数学领域使用competition_math数据集进行了训练和评测，结果如下： 可以看到，使用competition_math直 …

2024年12月9日 · OpenAI年终大戏第二场推出了 强化微调RFT (Reinforcement Fine-Tuning)，它可以让你用几十到几千个的训练数据，为特定的复杂任务构建专家模型，加强了模型如何处理类似问题的推理，微调后的o1-mini得分提高80%，反…

强化微调（Reinforcement Fine-Tuning，简称 RFT）是人工智能领域，特别是大语言模型（LLMs）定制方面的一项创新技术。 它极大地提升了模型的推理和适应能力，使其能够更精确地处理复杂的、特定领域的任务。

OpenAI 在 2024 年 12 月 6 日推出的「强化微调（RFT, Reinforcement Fine-Tuning）」给了你一条新的出路。 这种方法借鉴强化学习（RL）的理念，让你的模型不再仅仅模仿，而是通过奖励与反馈不断优化自己的推理过程。

2024年12月7日 · RFT 是一种由 OpenAI 开发的技术，专注于通过强化学习定制 LLM，特别是其推理模型（如 o1 模型）。 根据的报道， RFT 能够以极少的数据（通常几十个示例）实现高效 微调 ，这与传统监督 微调 （ SFT ）需要大量标注数据形成对比。

2024年12月9日 · 强化 微调 （Reinforcement Fine-Tuning）是通过给予模型高质量任务数据和参考答案来强化其推理能力。 与传统微调不同，强化微调并不是简单地让模型“记住答案”，而是通过训练模型在特定领域中学会推理，找到正确答案。 可以把它想象成给 AI 一套复杂的规则，让它通过实践和思考逐步掌握解决问题的方法。 这种微调方法使用两种数据集：一个是用于训练的微调数据集，另一个是用于验证的测试数据集。 模型首先通过微调数据集进行学习，然后在测试数 …

2024年12月19日 · RFT 技术因其高效性和定制化能力备受关注，但也引发了与 RLHF（Reinforcement Learning with Human Feedback）的比较争议。 本文详细 解析 RLHF 和 RFT 的核心理念、流程图及代码示例，比较二者在优化目标、反馈来源及适用场景等方面的差异。

2025年3月4日 · 🌈We introduce Visual Reinforcement Fine-tuning (Visual-RFT), the first comprehensive adaptation of Deepseek-R1's RL strategy to the multimodal field.We use the Qwen2-VL-2/7B model as our base model and design a rule-based verifiable reward, which is integrated into a GRPO-based reinforcement fine-tuning framework to enhance the performance of LVLMs across various visual perception tasks.