登录

LLaMA 2

技术 EN：LLaMA 2 别名：羊驼2 发布：2026-08-23 浏览：0
摘要
LLaMA 2 是 Meta 于 2023 年 7 月发布的开源大模型系列（7B–70B），新增对话变体 Llama-2-Chat 并通过 RLHF 对齐，首次开放可免费商用的权重，成为开源生态的事实基座。

定义

LLaMA 2 是 Meta 于 2023 年 7 月发布的基础与对话大模型系列，在 LLaMA 基础上扩大了预训练数据（2T tok）、延长上下文（4K），并专门训练了对齐版 Llama-2-Chat。 齐e慧享

原理与架构

沿用 decoder-only Transformer 与 RoPE 等改进。对齐采用分阶段 RLHF：监督微调 → 奖励模型训练 → 拒绝采样（rejection sampling）与 PPO 交替优化；其奖励模型基于「有用性」与「安全性」双目标训练。上下文窗口 4096 tok，词表扩展到 32K。 齐e慧享

关键事实

  • 发布：2023-07-18（论文《Llama 2: Open Foundation and Fine-Tuned Chat Models》）。
  • 规模：7B / 13B / 70B；Chat 变体经 RLHF。
  • 许可：可免费商用（月活 < 7 亿门槛），是首个主流可商用开源权重。
  • 评测：70B Chat 在 MMLU、TruthfulQA 等接近同代闭源模型。

典型应用

企业私有化部署、边缘与本地推理、学术对齐研究；作为 Vicuna、Chinese-LLaMA 等大量衍生模型的基座。 齐e慧享

局限与争议

英文语料主导，中文需额外微调；70B 推理成本高；安全对齐在某些越狱攻击下仍失效；长上下文能力落后于 GPT-4 Turbo 等。 齐e慧享

参考资料

[1] Touvron et al. Llama 2: Open Foundation and Fine-Tuned Chat Models. arXiv:2307.09288, 2023.

[2] Meta AI. Llama 2 官方页.

LLaMA 2 开源大模型 RLHF Meta 可商用

相关词条

发现内容有误或想补充资料？ 贡献新词条 词条编辑指南 我要投稿（进入审核）