长上下文模型

定义

长上下文模型指上下文窗口远超常规（≥100K token）的大语言模型，Gemini 1.5 Pro（100 万 tok）、GPT-4 Turbo（128K）、Llama 3.1（128K）、Claude 3（200K）为代表。 齐e慧享

原理与结构

长上下文的实现依赖组合技术：稀疏注意力（滑动窗口 + 全局锚点）、RoPE 长度外推（NTK/YaRN 缩放）、分组查询注意力降低 KV 缓存、FlashAttention 高效注意力内核，以及训练阶段的长序列采样与「大海捞针（Needle-in-a-Haystack）」测试验证。 齐e慧享

关键事实

• Gemini 1.5 原生支持 100 万 tok（2024-02）。
• 上下文长度与「检索到有效信息」并不等价——长输入反而可能稀释注意力。
• 评测基准：LongBench、∞Bench、RULER 等。

典型应用

整书问答、长代码仓库理解、多轮会议纪要、长视频/音频内容理解、以及「上下文即数据库」式 RAG 替代。 齐e慧享

局限与争议

注意力「迷失在中间（lost in the middle）」现象；KV 缓存与推理成本随长度上涨；评测方法存在争议。 齐e慧享