登录

大语言模型

概念 EN：Large Language Model 别名：LLM 发布：2026-08-23 浏览：0
摘要
大语言模型（LLM）指在海量文本上预训练、参数量通常达十亿乃至万亿级、具备涌现能力的自回归语言模型，是生成式 AI 的核心基础设施。

定义

大语言模型（Large Language Model, LLM）是以 Transformer 为基础、在超大规模文本语料上预训练的自回归语言模型，参数量通常≥10 亿，GPT-3（175B）、PaLM（540B）、Llama 3 405B 为其代表。 齐e慧享

原理与结构

LLM 的共性来自「规模化定律（scaling laws）」：参数量、数据量与算力按幂律提升时，损失稳定下降，并在特定规模涌现出推理、上下文学习与指令遵循等小模型不具备的能力。主流架构为仅解码器（decoder-only）Transformer，配以位置编码、多头/分组查询注意力与（可选）MoE 稀疏化。 齐e慧享

关键事实

  • 上下文学习与少样本能力由 GPT-3（2020）系统展示。
  • 涌现能力综述：Wei et al.（2022, arXiv:2206.07682）。
  • 对齐已成为发布前必备环节（SFT + RLHF）。

典型应用

对话助手、代码生成、检索增强问答、Agent 规划内核、内容创作与教育辅导。 齐e慧享

局限与争议

幻觉、知识截止、推理成本、训练数据版权与算力集中等问题并存；可解释性与安全可控仍是开放问题。 齐e慧享

参考资料

[1] Wei et al. Emergent Abilities of Large Language Models. arXiv:2206.07682, 2022.

[2] Kaplan et al. Scaling Laws for Neural Language Models. arXiv:2001.08361, 2020.

大语言模型 LLM Transformer 涌现能力 生成式AI

相关词条

发现内容有误或想补充资料？ 贡献新词条 词条编辑指南 我要投稿（进入审核）