定义
PaLM（Pathways Language Model）是 Google 于 2022 年 4 月发布的超大规模稠密语言模型，参数量 5400 亿，依托 Pathways 机器学习系统实现跨数千张 TPU 的高效分布式训练。 齐e慧享
原理与架构
PaLM 采用标准 decoder-only Transformer，但通过并行化 Transformer 层（parallel layers）与多查询注意力（MQA）等工程优化提升训练吞吐。使用 Instructor 数据混合（含多步推理、代码、多语言）训练，并在 7800 亿词元上预训练。 齐e慧享
关键事实
- 发布：2022-04（Chowdhery et al., JMLR 2023）。
- 参数量：5400 亿（稠密）。
- 训练硬件：Pathways 跨 6144 张 TPU v4 芯片。
- 涌现：在 BIG-bench 等任务上展现小模型不具备的突现能力。
典型应用
用于复杂推理、代码生成（PaLM 的 code 变体）、多语言翻译；其技术沉淀为 PaLM 2 与 Gemini 系列。 齐e慧享
局限与争议
训练能耗与碳排放巨大；稠密结构推理成本高；存在偏见与事实错误，需对齐与过滤；闭源且仅限 API。 齐e慧享