涌现能力 概念
涌现能力指模型规模跨越某个阈值后，小模型完全不具备、而大模型突然具备的任务能力（如算术、思维链、指令遵循），是理解大模型规模效应的关键概念，也引发归因争论。
大语言模型词条
监督微调 技术
监督微调（SFT）是用标注好的「输入-目标输出」数据对预训练模型继续训练，使其适配具体任务或对齐人类偏好，是对齐管线（SFT → 奖励模型 → RLHF）的第一环。
大语言模型 概念
大语言模型（LLM）指在海量文本上预训练、参数量通常达十亿乃至万亿级、具备涌现能力的自回归语言模型，是生成式 AI 的核心基础设施。
GPT-3.5 技术
GPT-3.5 是 OpenAI 在 GPT-3 基础上经指令微调与 RLHF 对齐的模型系列，其中 code-davinci-002 与 text-davinci-003 成为 ChatGPT 与 Codex 的底层能力来源。
提示工程 技术
提示工程是通过设计输入提示（指令、示例、上下文）来引导大语言模型稳定产出期望结果的技术体系，涵盖零样本/少样本、思维链、角色设定与结构化输出等范式。
PaLM 技术
PaLM 是 Google 于 2022 年发布的 5400 亿参数稠密语言模型，基于 Pathways 系统跨数千 TPU 训练，在推理、代码与多步数学上展现「涌现能力」，是 PaLM 2 / Gemini 的前身。
T5 技术
T5 是 Google 于 2019 年提出的「文本到文本」统一框架，将所有 NLP 任务（翻译、分类、摘要、问答）统一为「输入文本→输出文本」，并以「C4」大规模清洗语料预训练，验证了任务统一的强大通用性。
LLaMA 3 技术
LLaMA 3 是 Meta 于 2024 年 4 月发布、2024 年 12 月推出 405B 旗舰的开源大模型系列，在 15T+ tok 上训练，多项基准接近 GPT-4 级闭源模型，并原生支持 128K 上下文与多语言。
LLaMA 2 技术
LLaMA 2 是 Meta 于 2023 年 7 月发布的开源大模型系列（7B–70B），新增对话变体 Llama-2-Chat 并通过 RLHF 对齐，首次开放可免费商用的权重，成为开源生态的事实基座。
InstructGPT 技术
InstructGPT 是 OpenAI 于 2022 年提出的指令对齐方法，通过「监督微调 + 奖励模型 + PPO 强化学习」使模型遵循人类指令，其 1.3B 版本在人工评测中优于 175B 的 GPT-3，奠定了 ChatGPT 的对...
上下文窗口 概念
上下文窗口是大语言模型单次可同时处理的输入与输出 token 数量上限。
检索增强生成 技术
检索增强生成（RAG）是把外部知识检索与文本生成结合，以提升大模型回答准确性的技术范式。
Gemini 产品
Gemini 是 Google 推出的多模态大语言模型系列，前身为 Bard 项目。
Claude 产品
Claude 是 Anthropic 公司开发的对话式大语言模型系列，强调安全与对齐。
混合专家模型 技术
混合专家模型通过路由网络在每次推理中仅激活部分专家子网络以提升参数效率。