登录

预训练语言模型

概念 EN：Pre-trained Language Model 别名：PLM 发布：2026-08-23 浏览：0
摘要
预训练语言模型（PLM）指先在无标注大语料上通过自监督目标（MLM/自回归/去噪）训练通用文本表征，再通过微调或提示适配下游任务的模型，代表 BERT、GPT、T5 等。

定义

预训练语言模型（Pre-trained Language Model, PLM）是在大规模无标注文本上，以自监督目标（掩码预测、自回归、span 去噪等）预训练出的语言模型；预训练学到的通用语言知识可迁移到众多下游任务。 齐e慧享

原理与结构

「预训练 + 微调/提示」范式的核心是：预训练阶段不依赖人工标注（语料近乎无限），微调阶段只需少量任务数据。按架构分三类：仅编码器（BERT，理解）、仅解码器（GPT，生成）、编码-解码（T5，统一）。按目标分：自回归、MLM、去噪自编码。 齐e慧享

关键事实

  • 里程碑：ELMo（2018，双向 LSTM）、BERT（2018）、GPT-2（2019）、T5（2019）。
  • 「迁移学习红利」：同一预训练权重支撑翻译/分类/问答等任务。
  • 规模演进：从 1 亿级（BERT-Base）到万亿级（GPT-4 时代）。

典型应用

作为几乎所有现代 NLP 与多模态系统的底座；微调后用于搜索、对话、翻译、摘要等。 齐e慧享

局限与争议

预训练语料的偏见与版权问题；微调成本随规模上升；「通用表征」在长尾/多语言场景仍不足。 齐e慧享

参考资料

[1] Qiu et al. Pre-trained Models for Natural Language Processing: A Survey. arXiv:2003.08271, 2020.

[2] Devlin et al. BERT: Pre-training of Deep Bidirectional Transformers. arXiv:1810.04805, 2018.

预训练 语言模型 迁移学习 BERT GPT

相关词条

发现内容有误或想补充资料？ 贡献新词条 词条编辑指南 我要投稿（进入审核）