定义
InstructGPT 是 OpenAI 提出的、让大语言模型更好遵循人类指令的对齐训练方法，是 RLHF 在对话模型上的关键落地，也是 ChatGPT 的直接技术前身。 齐e慧享
算法与网络结构
训练分三步：①监督微调（SFT）：用人工编写的「指令-回答」示范微调预训练模型；②奖励模型（RM）：收集同一提示的多个模型输出，由标注员排序，训练一个对「更符合人类偏好」输出打高分的奖励模型；③强化学习：以 SFT 模型为策略、奖励模型为环境，用 PPO（近端策略优化）优化，目标为最大化奖励并约束与 SFT 模型的 KL 散度以防止偏离过远。 齐e慧享
训练与评估
- 关键发现：仅 1.3B 参数的 InstructGPT 在人工偏好评测中优于 175B 的 GPT-3。
- 评测：采用「指令遵循」人工对比，而非单一自动指标。
- 发布：2022-03（论文《Training language models to follow instructions with human feedback》）。
典型应用
作为 ChatGPT、Claude 等对话模型通用的对齐基线；把「有用、真实、无害」偏好注入生成式模型。 齐e慧享
局限与争议
依赖昂贵的人工标注；奖励模型可能被「奖励黑客（reward hacking）」攻破；KL 惩罚权重需精细调节；偏好标注存在群体偏差。 齐e慧享