GPT-3.5

技术 EN:GPT-3.5 别名:GPT-3.5 Turbo 发布:2026-08-23 浏览:0
摘要
GPT-3.5 是 OpenAI 在 GPT-3 基础上经指令微调与 RLHF 对齐的模型系列,其中 code-davinci-002 与 text-davinci-003 成为 ChatGPT 与 Codex 的底层能力来源。

定义

GPT-3.5 是 OpenAI 于 2022 年发布的模型代号,指代在 GPT-3(175B)基座上经过指令微调与 RLHF 对齐的系列模型,涵盖 text-davinci-002/003 与 code-davinci-002 等版本。 齐e慧享

原理与架构

GPT-3.5 沿用 decoder-only Transformer 架构,但训练管线从「纯预训练」升级为「预训练 → 代码/指令微调 → 基于人类反馈的强化学习(RLHF)」。text-davinci-003 即 OpenAI 采用 InstructGPT 方法论训练的对齐版本,支持更好的指令遵循与更少的有害输出。 齐e慧享

关键事实

  • 发布:text-davinci-002/003 于 2022 年上半年上线。
  • 与 ChatGPT:ChatGPT 早期版本基于 gpt-3.5-turbo。
  • 能力:在指令遵循、代码生成上显著强于原始 GPT-3。

典型应用

作为 ChatGPT 初版底座;text-davinci-003 广泛用于对话、摘要、翻译与代码补全的 API 调用。 齐e慧享

局限与争议

知识截止日期有限;仍存在幻觉;对齐依赖人工标注偏好,存在价值观偏差;后被 GPT-4 与 GPT-4o 取代。 齐e慧享

参考资料

发现内容有误或想补充资料? 贡献新词条 词条编辑指南 我要投稿(进入审核)