定义
掩码语言模型（Masked Language Model, MLM）是双向预训练语言模型的训练目标：随机遮盖部分输入词元，要求模型依据被遮词元左右两侧的上下文预测原词，与自回归的「从左到右预测」形成对比。 齐e慧享
原理与结构
BERT 将约 15% 的 WordPiece 词元替换为 [MASK]（其中 80% 换掩码符、10% 换随机词、10% 保持原词），再用交叉熵在遮词位置计算损失。由于可见双向上下文，模型学到的是「深度双向表征」，适合理解类任务。 齐e慧享
关键事实
- 提出：BERT（Devlin et al., 2018, arXiv:1810.04805）。
- 预训练-微调不一致：推理时并不存在 [MASK]，需要缓解策略。
- 变体：RoBERTa 去掉 NSP 并加大数据/训练时长，效果更好。
典型应用
文本分类、命名实体识别、关系抽取、问答与句子相似度等自然语言理解任务。 齐e慧享
局限与争议
无法直接做自回归生成；[MASK] 造成的分布偏移；双向建模在生成任务上不如 decoder-only 架构。 齐e慧享