定义概述
状态空间模型（SSM）源自控制理论，用状态方程描述输入到输出的映射。在序列建模中，它把 token 序列视为连续或离散动力系统，通过递归或卷积形式计算，避免注意力机制随长度平方增长的开销。 齐e慧享
背景与发展
经典循环网络存在长程依赖与并行化困难，Transformer 的注意力虽解决了并行训练，却在推理与训练长序列时面临平方复杂度。研究者将结构化状态空间（如 S4）引入深度学习，随后出现带选择性机制的 Mamba，使模型能根据输入动态调整状态转移，在长文本、基因组与音频等任务上展现优势。 齐e慧享
核心特点
- 线性复杂度：推理时随序列长度近似线性增长，显存占用更可控。
- 选择性机制：参数随输入变化，实现对信息的记忆与遗忘控制。
- 可并行训练：通过卷积或分块扫描形式在训练阶段并行计算。
- 与注意力互补：实践中常与注意力层混合组建混合架构。
典型应用
长文档建模、基因组序列分析、语音与音频建模、时间序列预测，以及对推理成本敏感的端侧长上下文场景。 齐e慧享
局限与争议
在需要精确复制与检索的任务上，纯状态空间结构可能弱于注意力；工程实现（如扫描算子）对硬件与编译器要求较高；混合架构的最优配比仍在探索中。 齐e慧享