混合专家模型 技术 EN：Mixture of Experts 别名：MoE、稀疏专家模型 发布：2026-08-13 浏览：0 收藏 摘要 混合专家模型通过路由网络在每次推理中仅激活部分专家子网络以提升参数效率。 展开▾ 概述MoE 将前馈层替换为多个专家网络与门控路由，使模型可在不线性增加计算量的情况下扩大参数量。 齐e慧享 应用被广泛用于训练超大规模语言模型（如 Mixtral、GPT-4 传闻架构），兼顾性能与成本。 齐e慧享 参考资料 [1] Mixtral 论文 深度学习 稀疏 路由 大模型 相关词条 Transformer Gemini LLaMA 3 大语言模型 稠密模型 语言模型 Mistral GPT-4 发现内容有误或想补充资料？ 贡献新词条 词条编辑指南 我要投稿（进入审核）