定义
GPT-3.5 是 OpenAI 于 2022 年发布的模型代号,指代在 GPT-3(175B)基座上经过指令微调与 RLHF 对齐的系列模型,涵盖 text-davinci-002/003 与 code-davinci-002 等版本。 齐e慧享
原理与架构
GPT-3.5 沿用 decoder-only Transformer 架构,但训练管线从「纯预训练」升级为「预训练 → 代码/指令微调 → 基于人类反馈的强化学习(RLHF)」。text-davinci-003 即 OpenAI 采用 InstructGPT 方法论训练的对齐版本,支持更好的指令遵循与更少的有害输出。 齐e慧享
关键事实
- 发布:text-davinci-002/003 于 2022 年上半年上线。
- 与 ChatGPT:ChatGPT 早期版本基于 gpt-3.5-turbo。
- 能力:在指令遵循、代码生成上显著强于原始 GPT-3。
典型应用
作为 ChatGPT 初版底座;text-davinci-003 广泛用于对话、摘要、翻译与代码补全的 API 调用。 齐e慧享
局限与争议
知识截止日期有限;仍存在幻觉;对齐依赖人工标注偏好,存在价值观偏差;后被 GPT-4 与 GPT-4o 取代。 齐e慧享