登录

FLAN

技术 EN：Fine-tuned Language Net 别名：FLAN-T5 发布：2026-08-23 浏览：0
摘要
FLAN（Finetuned Language Net）是 Google 用大规模多任务指令集对语言模型进行微调的产物，其 FLAN-T5 变体以开源权重展示了「指令微调带来零样本能力」的普适规律。

定义

FLAN（Finetuned Language Net）是 Google 系列工作：把多个 NLP 任务的指令数据混合，对预训练模型（T5、PaLM 等）做指令微调，使模型在未见过的任务上获得强零样本能力。 齐e慧享

原理与结构

FLAN 将每个任务改写为「指令 + 输入 → 输出」的统一文本格式（如「翻译以下句子为法语：…」），在数十个数据集的指令版本上微调。FLAN-T5 系列（Small 至 XXL，公开权重）把该思想应用到 T5，显著提升其指令遵循与零样本表现；FLAN-PaLM 将指令微调扩展到 540B 模型。 齐e慧享

关键事实

  • FLAN：Wei et al.（2021, arXiv:2109.01652）。
  • FLAN-T5：Chung et al.（2022, arXiv:2210.11416），开源权重在 Hugging Face 可下载。
  • 结论：指令微调是「让模型听指令」的普适方法，规模越大收益越明显。

典型应用

零样本分类/摘要/翻译；作为教学与研究用开源指令模型基座。 齐e慧享

局限与争议

指令集覆盖度决定泛化边界；FLAN-T5 参数量有限（≤11B），复杂推理仍弱于大模型。 齐e慧享

参考资料

[1] Wei et al. Finetuned Language Models are Zero-Shot Learners. ICLR 2022. arXiv:2109.01652.

[2] Chung et al. Scaling Instruction-Finetuned Language Models. JMLR 2024. arXiv:2210.11416.

FLAN FLAN-T5 指令微调 Google 零样本

相关词条

发现内容有误或想补充资料？ 贡献新词条 词条编辑指南 我要投稿（进入审核）