定义概述
语言模型每一步输出的是词表上的概率分布，解码策略决定如何从该分布中选取 token：贪心解码取概率最高者，随机采样按分布抽样，束搜索保留若干候选路径，Top-k 与 Top-p 则先截断分布再抽样。 齐e慧享
背景与发展
早期神经生成系统多采用束搜索以追求流畅与准确。后续研究发现，对开放式生成任务，最大化概率的解码容易导致重复与呆板文本，于是引入温度调节与截断采样，在多样性与可控性之间取得平衡，相关讨论推动了 nucleus（核）采样等方法的普及。 齐e慧享
核心特点
- 温度：降低温度使分布更尖锐、输出更确定；升高则更发散。
- Top-k：只在概率最高的 k 个候选中抽样，抑制长尾噪声。
- Top-p：按累积概率阈值动态截断候选集，适应不同分布形状。
- 惩罚项：重复惩罚与频率惩罚用于抑制循环重复。
- 束搜索：适合翻译、摘要等追求准确性的任务。
典型应用
对话与创作场景常用温度加截断采样提升多样性；机器翻译与结构化抽取倾向束搜索或低温贪心；代码生成常采用低温以保证语法正确性；评测时需固定策略以保证结果可复现。 齐e慧享
局限与争议
参数选择高度依赖经验，不同模型与任务的最优设置差异大；采样随机性导致输出不可完全复现；过高随机性会增加事实错误与安全风险，因此生产系统常配合约束解码与内容审核。 齐e慧享