Fewer Tokens, Smaller Cache: Reward-Coordinated Efficient Reasoning
arXiv 论文 2608.04771v1 提出 ReCo（Reward-Coordinated Compression）框架，用于大推理模型（LRMs）的 KV 缓存压缩。论文观察到推理状态对上下文丢失的容忍度沿轨迹变化，过程奖励可追踪此变化；删除高奖励步骤的 token 比随机删除更能保持准确率。压缩并非免费，较小的缓存会导致模型生成更多 token，部分抵消节省。ReCo 使用轻量级过程奖励估计器评分每个完成步骤，驱动三个组件：奖励自适应 KV 缓存压缩、奖励带惩罚等。
Development
- First ReportFewer Tokens, Smaller Cache: Reward-Coordinated Efficient ReasoningarXiv cs.AI
- Current Assessment该研究反映了 LRM 推理成本优化的趋势，从粗粒度压缩转向基于过程奖励的细粒度协调。这表明推理优化正从静态策略转向动态、奖励驱动的策略，可能影响推理引擎的设计。Agent Pulse · analysis
arXiv 论文 2608.04771v1 提出 ReCo（Reward-Coordinated Compression）框架，针对大推理模型（LRMs）在长链式思维推理中的过度思考问题。论文指出，现有推理导向的 KV 缓存压缩方法在轨迹上应用统一策略，仅根据移除内容判断压缩效果。作者观察到两个关键现象：推理状态对上下文丢失的容忍度沿轨迹变化，过程奖励可追踪此变化，删除高奖励步骤的 token 比随机删除更能保持准确率；压缩并非免费，较小的缓存会导致模型生成更多 token，部分抵消节省。ReCo 使用轻量级过程奖励估计器评分每个完成步骤，驱动三个组件：奖励自适应 KV 缓存压缩（在高奖励步骤更激进压缩，低奖励步骤较少压缩）、奖励带惩罚等。该方法旨在协调压缩与生成两侧，以降低推理成本。
ReCo 的核心洞察是 KV 缓存压缩策略应随推理轨迹动态调整，而非统一应用。过程奖励可作为压缩强度的信号：高奖励步骤对上下文丢失更敏感，因此压缩更激进；低奖励步骤则保守。此外，压缩与生成存在耦合，缓存减小可能导致模型生成更多 token，因此需要联合优化。这提示未来推理优化需考虑压缩与生成的协同，而非孤立优化。
该研究反映了 LRM 推理成本优化的趋势，从粗粒度压缩转向基于过程奖励的细粒度协调。这表明推理优化正从静态策略转向动态、奖励驱动的策略，可能影响推理引擎的设计。
对于提供 LRM 推理服务的公司，ReCo 可能降低推理成本，提高利润率。对于模型部署方，可减少 KV 缓存内存占用，提升吞吐量。
未来可验证信号包括：ReCo 在更多模型和任务上的基准测试结果，以及其是否被集成到主流推理框架中。若有效，可能推动推理成本进一步下降。