2025年2月11日 · SFT（Supervised Fine-Tuning）是指在已预训练的模型基础上，使用带标签的训练数据进行监督微调。 这种方法通常用于自然语言处理（NLP）或计算机视觉（CV）等领 …

2025年1月8日 · 模型使用的是Qwen2-VL-7B-Instruct， sft框架使用的是 Llama-factory 。 在baseline中，尝试了 lora微调 与 全量微调 ，分数相差近5个点，后续的微调任务全部使用full …

本文以小白的视角深入探索了如何使用 verl 框架实现大模型的后训练（Post-Training），包括监督微调（SFT）和强化学习（以 GRPO 为例）。 通过详细的步骤和代码示例，本文展示了如何 …

2024年9月4日 · SFT（Scalable Fine-Tuning）是一种用于自然语言处理的技术，它通过对预训练的语言模型进行微调，使其适应特定任务。在大模型SFT中，使用的是大型的预训练语言模 …

基于 Llama-3.2-Vision-11B 模型的实验表明， 监督微调 （SFT）倾向于记忆训练数据，导致模型在规则变化或场景迁移时 泛化能力 差；而强化学习（RL）则更注重学习任务结构，从而具备 …

2025年1月7日 · SFT（Scalable Fine-Tuning）是一种用于自然语言处理的技术，它通过对预训练的语言模型进行微调，使其适应特定任务。在大模型SFT中，使用的是大型的预训练语言模 …

1. Supervised fine-tuning（SFT）微调是一种有监督的技术手段，是在已具备广泛知识基础的大型预训练语言模型上，利用针对性的数据集实施额外的训练过程，旨在使模型更精准地契合特定 …

2024年12月31日 · SFT（Self-training Fine-tuning）是一项引人注目的微调方法，特别适用于解决低资源语言或领域的挑战。 它采用了自监督学习的思想，可以显著减少对大量标记数据的依赖。

2024年12月27日 · SFT（Supervised Fine-Tuning，有监督微调）是使用标注的训练数据对预训练模型进行微调，使其在特定任务上性能更好。模型通过学习大量的输入和期望输出对，直接调 …

通过sft，可以让模型更好地向人类的偏好和价值观对齐，输出对人更有好的答案。 大模型在上线后，不可避免地会遇到各种各样的bad case。 这些case的修复可以提升大模型产品的用户体 …