定义
监督微调（Supervised Fine-Tuning, SFT）指在预训练模型基础上，使用带标签的高质量数据（如指令-回答对、分类样本）以交叉熵损失继续训练，让模型拟合目标任务分布。 齐e慧享
原理与结构
SFT 本质是把预训练学到的通用知识「引导」到目标任务。在对话模型中，SFT 数据为人工编写的（指令，期望回答）样本；在全量微调之外，LoRA（低秩适配）等参数高效方法只训练少量附加参数，显著降低显存与算力需求。 齐e慧享
关键事实
- 是 RLHF 三段式（SFT → RM → PPO）的第一阶段。
- LoRA：Hu et al.（2021, arXiv:2106.09685），可训练参数量降至约 0.1%–1%。
- 数据量：对话 SFT 常见数万到数十万条样本即可见效。
典型应用
指令微调、领域适配（法律/医疗/代码）、分类与抽取任务；几乎所有开源对话模型的训练第一步。 齐e慧享
局限与争议
依赖标注质量；可能遗忘通用能力；与 RLHF 相比难以直接优化「人类偏好」这类非可微目标。 齐e慧享