TurnSight: Turn-Level Hindsight Self-Distillation for Tool-Integrated Reasoning
TurnSight 是一个用于工具集成推理（TIR）的回合级事后自我蒸馏框架。它从执行条件的事后视角推导监督信号，构建多个不同前瞻视野的事后视图，并通过跨视野方向一致性选择可靠监督。选中的事后信号在兄弟回滚之间归一化，用于自适应调节 RL 优势，同时保留其原始优化方向。在三个基准上的实验证明了其有效性。
Development
- First ReportTurnSight: Turn-Level Hindsight Self-Distillation for Tool-Integrated ReasoningarXiv cs.CL
- Current AssessmentTurnSight 代表了训练工具集成推理模型的一种新方向，可能影响 Agent 训练方法的演进。它强调回合级监督而非轨迹级或 token 级，可能提高长任务中 Agent 的学习效率。这暗示行业可能从依赖轨迹级 RL 转向更细粒度的监督信号，以提升复杂工具交互场景下的模型性能。Agent Pulse · analysis
TurnSight 提出了一种新的训练方法，用于改进大型语言模型在工具集成推理（TIR）中的性能。现有强化学习方法通常依赖轨迹级监督，在长视野 TIR 场景中难以进行细粒度信用分配。TurnSight 通过回合级事后自我蒸馏提供更密集的监督信号，从执行条件的事后视角生成监督，构建多个不同前瞻视野的事后视图，并通过跨视野方向一致性选择可靠监督。选中的信号在兄弟回滚之间归一化，用于自适应调节 RL 优势，同时保留优化方向。实验在三个基准上验证了其有效性。
TurnSight 的核心创新在于回合级事后自我蒸馏，它从执行条件的事后视角生成监督，而非依赖 ground-truth 答案或检索技能。通过构建多个不同前瞻视野的事后视图，并利用跨视野方向一致性选择可靠监督，解决了现有方法中监督信号与代理实际访问状态不匹配的问题。此外，将选中的事后信号在兄弟回滚之间归一化，用于自适应调节 RL 优势，同时保留原始优化方向，这有助于在长视野 TIR 中实现更细粒度的信用分配。
TurnSight 代表了训练工具集成推理模型的一种新方向，可能影响 Agent 训练方法的演进。它强调回合级监督而非轨迹级或 token 级，可能提高长任务中 Agent 的学习效率。这暗示行业可能从依赖轨迹级 RL 转向更细粒度的监督信号，以提升复杂工具交互场景下的模型性能。
TurnSight 可能提升工具集成推理模型的训练效率，从而降低训练成本或提高模型性能。对于开发 Agent 产品的公司，这可能意味着更强大的工具使用能力，进而提升产品竞争力。但当前仅为研究论文，商业影响尚需验证。
未来可验证的信号包括：TurnSight 是否在更多基准或实际 Agent 任务中复现其效果；是否有后续工作扩展其方法到多模态或更复杂的工具环境；以及该方法是否被集成到主流开源训练框架中。