百科

大模型 · 万物互联 · 人工智能的结构化知识库。人人可阅读、可贡献、可追溯。

学科分类

最新收录

长上下文模型 技术

长上下文模型指支持数万至百万级 token 上下文窗口的大语言模型(如 Gemini 1.5 的 100 万 tok、GPT-4 Turbo 的 128K),可一次处理整本书、长会议或代码仓库,是 2024 年大模型竞争的核心维度。

旋转位置编码 技术

旋转位置编码(RoPE)通过把 token 的查询/键向量按位置角度做旋转来编码相对位置信息,兼具相对位置建模与外推能力,是 LLaMA、ChatGLM、PaLM 等主流大模型的标准位置编码方案。

预训练语言模型 概念

预训练语言模型(PLM)指先在无标注大语料上通过自监督目标(MLM/自回归/去噪)训练通用文本表征,再通过微调或提示适配下游任务的模型,代表 BERT、GPT、T5 等。

掩码语言模型 技术

掩码语言模型(MLM)是 BERT 使用的预训练目标:随机遮盖输入中约 15% 的词元,让模型从双向上下文中预测被遮词元,从而学到深度上下文表征。

涌现能力 概念

涌现能力指模型规模跨越某个阈值后,小模型完全不具备、而大模型突然具备的任务能力(如算术、思维链、指令遵循),是理解大模型规模效应的关键概念,也引发归因争论。

监督微调 技术

监督微调(SFT)是用标注好的「输入-目标输出」数据对预训练模型继续训练,使其适配具体任务或对齐人类偏好,是对齐管线(SFT → 奖励模型 → RLHF)的第一环。

大语言模型 概念

大语言模型(LLM)指在海量文本上预训练、参数量通常达十亿乃至万亿级、具备涌现能力的自回归语言模型,是生成式 AI 的核心基础设施。

GPT-3.5 技术

GPT-3.5 是 OpenAI 在 GPT-3 基础上经指令微调与 RLHF 对齐的模型系列,其中 code-davinci-002 与 text-davinci-003 成为 ChatGPT 与 Codex 的底层能力来源。

提示工程 技术

提示工程是通过设计输入提示(指令、示例、上下文)来引导大语言模型稳定产出期望结果的技术体系,涵盖零样本/少样本、思维链、角色设定与结构化输出等范式。

PaLM 技术

PaLM 是 Google 于 2022 年发布的 5400 亿参数稠密语言模型,基于 Pathways 系统跨数千 TPU 训练,在推理、代码与多步数学上展现「涌现能力」,是 PaLM 2 / Gemini 的前身。

T5 技术

T5 是 Google 于 2019 年提出的「文本到文本」统一框架,将所有 NLP 任务(翻译、分类、摘要、问答)统一为「输入文本→输出文本」,并以「C4」大规模清洗语料预训练,验证了任务统一的强大通用性。

LLaMA 3 技术

LLaMA 3 是 Meta 于 2024 年 4 月发布、2024 年 12 月推出 405B 旗舰的开源大模型系列,在 15T+ tok 上训练,多项基准接近 GPT-4 级闭源模型,并原生支持 128K 上下文与多语言。

LLaMA 2 技术

LLaMA 2 是 Meta 于 2023 年 7 月发布的开源大模型系列(7B–70B),新增对话变体 Llama-2-Chat 并通过 RLHF 对齐,首次开放可免费商用的权重,成为开源生态的事实基座。

InstructGPT 技术

InstructGPT 是 OpenAI 于 2022 年提出的指令对齐方法,通过「监督微调 + 奖励模型 + PPO 强化学习」使模型遵循人类指令,其 1.3B 版本在人工评测中优于 175B 的 GPT-3,奠定了 ChatGPT 的对...

元学习 技术

元学习旨在让模型从多个任务中学习「如何学习」,从而在新任务上快速泛化。

A

B

C

D

E

F

G

H

I

J

K

L

M

N

O

P

Q

R

S

T

U

V

W

X

Y

Z

#

0.1022s