概述
上下文窗口(Context Window)决定了大模型在一次推理中能够「记住」的信息量,通常以 token 为单位衡量,例如 8K、32K、128K 等。 齐e慧享
意义
更长的上下文窗口允许模型一次性阅读整本著作、处理长文档或进行超长多轮对话,是衡量大模型能力的重要指标之一。 齐e慧享
局限
上下文窗口扩大后,模型对窗口中部信息的关注度可能下降,且计算成本随长度上升,实际使用需平衡。 齐e慧享
上下文窗口(Context Window)决定了大模型在一次推理中能够「记住」的信息量,通常以 token 为单位衡量,例如 8K、32K、128K 等。 齐e慧享
更长的上下文窗口允许模型一次性阅读整本著作、处理长文档或进行超长多轮对话,是衡量大模型能力的重要指标之一。 齐e慧享
上下文窗口扩大后,模型对窗口中部信息的关注度可能下降,且计算成本随长度上升,实际使用需平衡。 齐e慧享
[1] OpenAI 上下文窗口说明