Recall Before You Rank: Similarity-Guided Top-$K$ Reuse for Efficient Long-Context Attention
ReTopK 是一种免训练方法，通过复用历史检索决策来加速动态 Top-K 注意力。它维护每个注意力头的历史查询-支持对缓存，为新查询检索最相似的缓存查询，合并其支持与近期窗口，仅对紧凑候选集进行精确重排。相似性回退机制在复用不可靠时调用全历史精确 Top-K，周期性精确刷新限制缓存漂移。该方法保留精确 Top-K 注意力的大部分质量。
Development
- First ReportRecall Before You Rank: Similarity-Guided Top-$K$ Reuse for Efficient Long-Context AttentionarXiv cs.CL
- Current Assessment长上下文推理的成本瓶颈正从 KV 缓存存储转向注意力选择计算。ReTopK 表明通过复用历史决策可降低选择成本，这为稀疏注意力在长上下文场景的实用化提供了新路径。类似思路可能被集成到推理框架中，提升长上下文应用的效率。Agent Pulse · analysis
ReTopK 提出免训练方法加速长上下文解码中的稀疏注意力。传统 Top-K 稀疏注意力虽减少 Softmax 和值聚合成本，但选择子集仍需全量评分，选择器成本随上下文线性增长。ReTopK 利用相似查询常关注重叠支持集的观察，维护历史查询-支持对缓存，通过检索相似查询并合并支持集，仅对紧凑候选集重排，避免全量评分。相似性回退和周期性精确刷新保证可靠性。该方法在保留精确 Top-K 注意力质量的同时降低选择成本。
ReTopK 的核心洞察是相似查询的注意力支持集重叠，因此可复用历史检索结果。其设计包含三个关键组件：有界缓存存储历史查询-支持对，相似性检索选择最相关的缓存条目，以及候选集合并与重排。相似性回退机制在复用不可靠时回退到精确计算，周期性刷新防止缓存漂移。这暗示注意力选择存在时间局部性，可被利用来降低计算成本。
长上下文推理的成本瓶颈正从 KV 缓存存储转向注意力选择计算。ReTopK 表明通过复用历史决策可降低选择成本，这为稀疏注意力在长上下文场景的实用化提供了新路径。类似思路可能被集成到推理框架中，提升长上下文应用的效率。
ReTopK 可降低长上下文推理的计算成本，提升吞吐量并降低延迟，对提供长上下文 AI 服务的公司具有直接商业价值。它无需训练即可应用，降低了集成门槛，可能加速稀疏注意力在商业产品中的落地。
ReTopK 的后续验证将关注其在不同模型和长上下文任务上的泛化能力，以及缓存大小和刷新频率对质量的影响。若该方法被广泛采用，可能推动稀疏注意力在长上下文推理中的标准化，并影响推理框架的设计。