定义
T5（Text-to-Text Transfer Transformer）是 Google 提出的统一 NLP 框架，核心思想是：把分类、翻译、摘要、问答等所有任务都表述为「文本进、文本出」，从而可用同一个编码器-解码器 Transformer 与相同的训练目标处理。 齐e慧享
原理与架构
T5 采用标准编码器-解码器 Transformer。预训练目标为「已被破坏（span corruption）」：随机用哨兵符遮盖若干连续片段，让模型生成被遮盖的片段文本。下游任务通过添加任务前缀（如「translate English to German:」「summarize:」）区分。大规模变体 mT5、T5-XXL 用于指令微调（如 FLAN-T5）。 齐e慧享
关键事实
- 发布：2019-10（Raffel et al., JMLR 2020）。
- 预训练语料：C4（Colossal Clean Crawled Corpus，约 750GB 清洗网页）。
- 规模：Small 60M 至 11B；FLAN-T5 经指令微调显著提升零样本能力。
典型应用
统一处理翻译、摘要、问答、分类；FLAN-T5 作为许多开源指令模型的基座；用于表格到文本、代码注释等结构化生成。 齐e慧享
局限与争议
编码器-解码器结构推理成本高于仅解码器生成模型；C4 清洗规则曾因误删部分内容引发数据质量讨论；超长文档受 512 长度约束。 齐e慧享