定义
Llama 3 是 Meta 的第三代开源大模型系列，包含 8B、70B 与 405B 三种规模，定位为「前沿级开源模型」，训练数据较 LLaMA 2 扩大约 7 倍。 齐e慧享
原理与架构
继续采用 decoder-only Transformer，将上下文窗口提升至 128K tok，引入分组查询注意力（GQA）以降低推理显存与延迟，词表扩展到 128K token 以更好覆盖多语言。405B 版本在约 15T+ tok 上训练，采用大规模分布式训练与数据质量过滤管线。 齐e慧享
关键事实
- 8B/70B 发布：2024-04-18；405B 发布：2024-12-06（The Llama 3 Herd of Models）。
- 训练规模：15T+ tok（405B）。
- 上下文：128K tok；词表 128K。
- 评测：405B 在 MMLU、HumanEval、GSM8K 等接近 GPT-4（2023 版）与 Claude 3.5 同级。
典型应用
作为开源 Agent、RAG 与多语言应用基座；支持长文档理解与代码生成；可商用（同 LLaMA 2 许可框架）。 齐e慧享
局限与争议
405B 推理资源需求高；多模态（图像/语音）由独立 Llama 3 Vision/后续多模态扩展提供，基座本身为纯文本；训练数据版权与隐私审查持续受关注。 齐e慧享