7月27日深夜，总部位于北京海淀的月之暗面公司发文，发布Kimi K3的模型权重、技术报告，并开源支撑Kimi K3模型训练的关键 Infra（关键底层基础设施）技术。“现在，每个人都可以下载并部署Kimi K3模型——无论是用于内部研发，还是嵌入到面向终端用户的产品中，均可自由使用。” 齐e慧享
齐e慧享
月之暗面表示，Kimi K3是其能力最强的模型。Kimi K3参数规模是Kimi K2.5的3倍左右，但是规模化并不仅仅是参数的堆叠，在并不宽裕的算力条件下，技术团队凭借Kimi Delta Attention、Attention Residuals 以及 MoonEP 等一系列技术创新，规模化效率提升了2.5倍，也就是在算力最优的意义下，单位算力产出智能约等于原来的2.5倍。 齐e慧享
齐e慧享
与Kimi K3模型权重一起公开的，还有月之暗面的模型训练方法——Kimi K3技术报告已同步上线。 齐e慧享
齐e慧享
提及为何选择将最强模型开放，月之暗面表示，其坚信开放权重模型的价值，它们能降低获取智能的门槛，推动创新，并赋予用户对数据更大的控制权、隐私保护和所有权。在过去几周里，他们听到了许多来自AI社区以及有共同愿景的技术领袖的支持声音。“我们相信，对于AGI这样具有深远影响的技术，一个广泛、开放的生态系统是最适合承载它的土壤。为此，我们将继续贡献自己的力量。” 齐e慧享
齐e慧享
网友评论